202605261、概率推断probabilistic inference给定观测证据为某个查询命题计算后验概率。最直接的处理方式就是先得到一个完全联合分布所有变量的组合概率表格在表格中按项求和归一化找到某个条件下某个变量的概率分布后验概率。第12章。概率推断的真实含义和应用在目前已知的条件下推测发生某件事的概率是多少。比如汽车保险在已知客户驾驶技能、历史事故、驾驶频率、汽车型号等等信息的情况下推测发生事故的概率是多少进而预估潜在的保险赔偿额度是多少从而为保险定价2、得到完全概率分布的复杂度极高比如对于有n个布尔变量的事件则有2^n个概率条目这些概率条目都需要从已有样例中进行估计所需要的样例数极大。这种推断方式代价太高所以后面提出的独立性、贝叶斯法则、贝叶斯模型、贝叶斯网络、采样等概念都是一步步在简化这个过程降低概率推断的复杂度。12章3、独立性P(a|b)P(a) 或 P(b|a)P(b) 或 P(a,b)P(a)*P(b)借助独立性可以显著减少指定完全联合分布所需的信息量。比如c 与 ab独立则P(a,b,c) P(a,b)*P©联合概率分布条目从238下降为222^16。独立性的判断基于领域知识只要关系足够微弱也可以认定为独立。12章4、贝叶斯法则(Bayes’s rule) : P(b|a) P(a|b)*P(b)/P(a)实践中很有用通常我们把一些未知原因cause的结果effect视为证据并想要确定这个原因。比如已知症状想要诊断病因通常有大量实验数据已知某个疾病出现某个症状的概率以及人群中有某个疾病有某个症状的概率。前者叫诊断diagnostic方向上的关系后者叫因果(casual)方向上的关系。因果方向不受短期流行性的影响诊断方向可能受到影响诊断知识比因果知识更加脆弱。5、利用贝叶斯法则和条件独立性可以把一个有许多条件的后验概率转化为多个单条件后验概率的乘积。贝叶斯法则调转条件关系多条件变单条件条件独立性再将多变量拆分成小分布子集。12章6、贝叶斯网络Bayesian network一个有向无环图DAG每个节点对应一个随机变量有向链路或箭头连接成对的节点每个节点有个条件概率表conditional probability table CPT 记录关联概率信息该节点以父节点为条件的条件概率表 (13章)有向箭头代表该节点对另一个节点有影响其他变量相互独立所以贝叶斯网络也已经指定了整个域的条件独立性关系7、如何构造贝叶斯网络按原因先于结果的顺序对变量节点进行排序从第一个节点开始遍历在节点之前选择最小父节点集合有因果关系的连接节点间的链路记录条件概率表。贝叶斯网络中的条件分布的乘积组合可以表示联合分布中的每一项进而贝叶斯网络的条件概率表足以表达一个完整的联合分布。为了满足这个定义构建贝叶斯网络的时候给定父节点每个节点与其他节点都要条件独立。注意这里只说前驱节点因为实际该节点可能还与子孙节点有关构造贝叶斯网络时在变量之间的依赖关系微弱时忽略该链路认为彼此条件独立因为通过增加网络额外的复杂性以获得精度上的一点点提高并不值得。 13章8、贝叶斯网络中的条件独立性关系。注意条件独立和独立是不同的概念独立是绝对的概念更强条件独立是相对的在给定了某个条件的情况下与另外的变量条件独立当没有给定该条件变量时则两个变量之间有关联关系。前面已经给出贝叶斯网络中的一个条件独立性给定父节点一个变量条件独立于它的其他前驱变量。还有一个给定父节点每个变量条件独立于它的非子孙节点。另一个重要的独立性性质给定一个变量的父节点、子节点和子节点的父节点即给定了它的马尔可夫毯Markov blanket该变量条件独立于网络中所有其他节点只与马尔可夫毯上的节点有关这个定义是后面使用采样过程的推断算法的基础。 13章9、使用贝叶斯网络进行精确推断利用乘积法则将条件概率转换为一个联合概率联合概率进一步结合未观测变量非证据变量转换为完全联合分布对未观测变量的全部求和12章的求和消元。完全联合分布则可以利用贝叶斯网络的定义转换为网络中各个节点的条件概率乘积。进而通过贝叶斯网络的条件概率表就能精确求解任意条件概率。然而在有n个布尔变量的情况下这个计算的时间复杂度仍会达到2^n。使用变量消元算法涉及逐点点积先求和消元再点积可以减少复杂度相当于降低了重复计算精确推断的复杂度是NP困难的 13章10、贝叶斯网络中的近似推理思想是基于贝叶斯网络中的概率生成随机事件并计数随机事件以近似得到条件概率。不管精确推断还是近似推理贝叶斯网络及其条件概率表都是已知条件基于这个条件来查询其他任意的条件概率随机采样算法也称为蒙特卡罗Monte Carlo算法。能够提供近似的答案只要有足够的样本可以以任意的精度恢复真实概率分布。其中有两类算法直接采样和马尔可夫链采样。13章到采样这里是理解的一个坎理解起来比较费劲今天来不及记录了下次再补充。这一周都在12、13章的概率论和概率推断里面摸爬滚打跑不出来进度略慢。后面有意识提提速。有时候看多了会有点麻木了串不起来了这个时候把复杂的那页拍给豆包它会帮你把框架联系起来抓住一些重点的东西比如前面不经意忘记的吉布斯采样的定义以及概括性的目的就比较容易串起来理解这一节这一章在讲什么。
