经典分布式计算模型 贝叶斯机器学习前沿进展(4)

(12)

其中是从P中得到的采样。根据大数定律，在采样数目足够多时，蒙特卡洛方法可以很好地估计真实期望。

上面描述的是蒙特卡洛方法的基本原理，但实际过程中ｐ的采样并不是很容易就可以得到，往往采用其他的方法进行，常用的方法有重要性采样（importance sampling）、拒绝采样（rejection sampling）、马尔可夫蒙特卡洛方法（Markov Chain Monte Carlo, MCMC）等。前两者在分布相对简单时比较有效，但是对于较高维空间的复杂分布效果往往不好，面临着维数灾难的问题。下面重点介绍ＭＣＭＣ方法，它在高维空间中也比较有效。

ＭＣＭＣ方法的基本思想是构造一个随机的马尔可夫链，使得其收敛到指定的概率分布，从而达到推理的目的〔47〕。一种较为常用的ＭＣＭＣ方法是Metropolis-Hastings算法〔48〕（ＭＨ算法）。在ＭＨ算法中，通过构造一个从状态到状态的转移规则：

1）根据从旧的状态采样中得到一个新的状态采样；

2)计算接受概率：

(13)

3）从０－１均匀分布中采样得到〔0, 1〕。若，则接受采样，否则拒绝采样。

另一种常用的ＭＣＭＣ方法是吉布斯采样（Gibbs sampling）〔46,49〕，它是ＭＨ算法的一种特例，吉布斯采样已广泛应用在贝叶斯分析的推理中。吉布斯采用是对多变量分布中每一个变量在其他已经观察得到采样的变量已知的条件下依次采样，更新现有的参数，最后收敛得到目标后验分布。假设需要采样的多元分布为，即每次选出一个维度ｊ：１≤ｊ≤ｄ，其中ｄ是多元分布的维度；随后从条件概率分布对进行采样。

有很多贝叶斯模型都采用了ＭＣＭＣ的方法进行推理，取得了很好的效果〔20，30，50〕。除此之外，还有一类非随机游走的ＭＣＭＣ方法———LangevinＭＣＭＣ〔51〕和Hybrid MonteCarlo〔52〕。这一类方法往往有更快的收敛速度，但是表述的复杂程度较大，因此受欢迎程度不及吉布斯采样，但是，最近在大数据环境下发展的基于随机梯度的采样方法非常有效，后文将会简要介绍。

4 正则化贝叶斯理论及应用举例

在第２节中提到了贝叶斯方法的两种等价表现方式，一种是后验推理的方式，另一种是基于变分分析的优化方法，其中第２种方式在近年有了较大发展．基于这种等价关系，我们近年来提出了正则化贝叶斯（regularized Bayesian inference, RegBayes）理论〔10〕：如图４所示，在经典贝叶斯推理过程中，后验分布只能从两个维度来获得，即先验分布和似然函数；而在正则化贝叶斯推理中，后验推理转化成一种变分优化的方式，通过引入后验正则化，为贝叶斯推理提供了第３维自由度，极大地丰富了贝叶斯模型的灵活性。在RegBayes理论的指导下，我们系统研究了基于最大间隔准则的判别式贝叶斯学习以及结合领域知识的贝叶斯学习等，取得了一系列的成果〔〕。

正则化贝叶斯推理的基本框架可以简述如下，在式（２）的基础上，引入后验正则化项，考虑领域知识或者期望的模型属性：

(14)

其中是一个凸函数。在运用RegBayes解决具体问题时需要回答下面３个问题：

问题１．后验正则化从何而来．后验正则化是一个通用的概念，可以涵盖任何期望影响后验分布的信息。比如，在有监督学习任务（如图像/文本分类）中，我们期望后验分布能够准确地预测，这种情况下我们可以将分类错误率（或者某种上界）作为优化目标，通过后验正则化引用到学习过程中，典型的例子包括无限支持向量机〔38〕（infinite SVM）、无限隐式支持向量机〔56〕（infinitelatent SVM）、最大间隔话题模型〔57〕（maximummargin supervised topic model, MedLDA）等，这些方法均采用了最大间隔原理，在贝叶斯学习过程中直接最小化分类错误率的上界（即铰链损失函数），在测试数据上取得显著的性能提升。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-60552-4.html