经典分布式计算模型 贝叶斯机器学习前沿进展(3)

以二值（“０”或“１”）特征为例，假设有Ｎ个数据点，所有数据点的特征向量组成一个特征矩阵，IBP的产生式过程可以形象地类比为Ｎ个顾客到一个无穷多个餐品的自助餐馆进行选餐的过程，用“１”表示选择，“０”表示不选择，具体描述如图３所示的方法进行：

1）第１名顾客选择个餐品，其中；

2）第２名及以后的顾客有两种情况：1. 对于已经被选过的餐品，按照选择该餐品的人数成正比的概率选择该餐品；2. 选择个未被选过的餐品，其中。

与中国餐馆过程类似，印度自助餐过程也有其对应的截棍过程〔30〕．这里不再赘述，仅列出其构造性表述如下：

(8)

但是与中国餐馆过程的截棍过程不同的是棍的长度之和并不为１．印度自助餐过程也有其对应的采样方法和变分优化求解方法〔16,30-31〕。

2.3 应用及扩展

贝叶斯方法特别是最近流行的非参数贝叶斯方法已广泛应用于机器学习的各个领域，并且收到了很好的效果〔32〕。这里简要提出几点应用和扩展；对于贝叶斯学习的相关应用将在第５节介绍，也可查阅相关文献〔13－14，33〕。

另外，对于有监督学习问题，非参数贝叶斯模型最近也受到了广泛的关注．例如，社交网络数据建模和预测是一个重要的问题，近期提出的基于IBP的非参数化贝叶斯模型〔27，29〕可以自动学习隐含特征，并且确定特征的个数，取得很好的预测性能。使用DP混合模型同时作聚类和分类任务也取得了很好的结果〔38〕。

3 贝叶斯模型的推理方法

贝叶斯模型的推理方法是贝叶斯学习中重要的一环，推理方法的好坏直接影响模型的性能。具体地说，贝叶斯模型的一个关键性的问题是后验分布通常是不可解的，使得式（３）和式（４）中的贝叶斯积分也是不可解的。这时，就需要一些有效的推理方法。一般而言，主要有两类方法：变分推理方法（varia-tional inference）和蒙特卡洛方法（Monte Carlo methods）。这两类方法都在贝叶斯学习领域有广泛的应用，下面分别介绍这两类方法。

3.1 变分推理方法

变分法是一种应用较广的近似优化方法〔39－40〕，在物理、统计学、金融分析、控制科学领域解决了很多问题。在机器学习领域，变分方法也有较多应用：通过变分分析，可以将非优化问题转化成优化问题求解，也可以通过近似方法对一些较难的问题进行变分求解〔41〕。

在变分贝叶斯方法中，给定数据集Ｄ和待求解的后验分布，变分方法界定其后验分布的近似分布为。运用杰森不等式，可以得到对数似然的一个下界（evidence lower bound，ELOB）。

(9)

通过最大化该对数似然下界：

(10)

或者最小化和之间的KL散度，就可以完成优化求解的过程。因此，变分推理的基本思想是将原问题转化成求解近似分布的优化问题，结合有效的优化算法来完成贝叶斯推理的任务〔22，42－43〕。

很多时候，模型Θ中往往有一些参数θ和隐变量ｈ。这时变分问题可以通过变分期望最大化方法求解（variational EM algorithm）：通过引入平均场假设（mean-fieldassumption），可以迭代进行ＥＭ算法〔44〕。

3.2 蒙特卡洛方法

蒙特卡洛方法是一类通过利用模拟随机数对未知的概率分布进行估计；当未知分布很难直接估计或者搜索空间太大、计算太复杂时，蒙特卡洛方法就成为重要的推理和计算方法〔45－46〕。例如，贝叶斯机器学习通常需要计算某个函数在某种分布（先验或者后验）下的期望，而这种计算通常是没有解析解的。假设是一个概率分布，目标是计算如下积分：

(11)

蒙特卡洛方法的基本思想是使用如下估计来近似Ｉ:

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-60552-3.html