经典分布式计算模型 贝叶斯机器学习前沿进展(5)

另外，在一些学习任务中，一些领域知识（如专家知识或者通过众包方式收集到的大众知识）可以提供数据之外的一些信息，对提高模型性能有很大帮助。在这种情况下，可以将领域知识作为后验约束，与数据一起加入模型中，实现高效贝叶斯学习。需要指出的是大众知识往往存在很大的噪音，如何采取有效的策略过滤噪音实现有效学习是问题的关键。在这方面，我们提出了将使用逻辑表达的领域知识鲁棒地引入贝叶斯主题模型，实现了更优秀的模型效果〔58〕。

问题２．先验分布、似然函数以及后验正则化之间有何关系。先验分布是与数据无关的，基于先验知识的概率分布不能反映数据的统计特性；似然函数则是基于数据产生的概率分布，反映了数据的基本性质，通常定义为具有良好解析形式的归一化的概率分布。而后验正则化项同样是利用数据的特性来定义的，但是，它具有更广泛灵活的方式，不受归一化的约束，因此，可以更方便准确地刻画问题的属性或者领域知识，如问题１中所举的最大间隔学习以及领域知识与贝叶斯统计相结合等示例。甚至可以证明，一些后验分布不可以通过贝叶斯定理得到，但是可以通过后验正则化得到〔10〕。因此，RegBayes是比经典贝叶斯方法更灵活更强大的方法。

问题３．如何求解优化问题。虽然正则化贝叶斯具有极强的灵活性，其学习算法仍然可以使用变分方法或者蒙特卡洛方法进行求解，具体的求解方法请阅读相关论文。下面介绍的大数据贝叶斯学习理论和算法均可以应用到快速求解正则化贝叶斯模型〔55〕，这也是目前的研究热点。

5 大数据贝叶斯学习

5.1 随机梯度及学习方法

当数据量较大时精确的算法往往耗时较长，不能满足需要。一类常用的解决方案是采用随机近似算法〔60－61〕。这类算法通过对数据集的多次随机采样（random subsampling），可以在较快的时间内收敛到较好的结果。这种思想已经在变分推理和蒙特卡洛算法中广泛采用，简要介绍如下。

在变分推理方面，如前所述，其核心是求解优化问题，因此，基于多次随机降采样的随机梯度下降算法成为很自然的选择。具体地说，随机梯度下降算法（stochastic gradient descent, SGD）〔62〕每次随机选取一个数据子集，并用该子集上计算的梯度估计整个数据集上的梯度，对要求解的参数进行更新：

(15)

其中Ｑ是待优化的目标函数，是数据的第t个子集。值得注意的是，欧氏空间中的梯度并非最优的求解变分分布的方向；对于概率分布的寻优，自然梯度往往取得更快的收敛速度〔63〕。近期的主要进展包括随机变分贝叶斯方法〔61〕以及多种利用模型特性的快速改进算法〔64〕〔64〕。

在蒙特卡洛算法方面，可以将随机梯度的方法用于改进对应的基于梯度的采样算法，如随机梯度朗之万动力学采样方法（stochastic gradient langevin dynamics, SGLD）〔65〕、随机梯度哈密尔顿蒙特卡洛（stochasticHamiltonian Monte Carlo, SHM）〔66〕〔66〕。这些算法加快了蒙特卡洛采样的速度、有较好的效果。

例１．为了适应动态流数据的处理需求，基于学习的贝叶斯推理算法也成为近期的研究热点，主要工作包括流数据变分贝叶斯〔67〕等。我们近期提出了贝叶斯最大间隔学习（online Bayesian passive-aggressive learning, Online BayesPA ）框架，显著提高了正则化贝叶斯的学习效率，并且给出了学习后悔值的理论界〔55〕。在100多万的维基百科页面数据上的部分实验结果如图５所示，可以看出，基于学习的算法比批处理算法快100倍左右，并且不损失分类的准确率。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-60552-5.html