经典分布式计算模型 贝叶斯机器学习前沿进展(6)

5.2 分布式推理算法

另一种适用于贝叶斯学习问题的算法是基于分布式计算的〔68〕，即部署在分布式系统上的贝叶斯推理算法。这类算法需要仔细考虑算法的实际应用场景，综合考量算法计算和通信的开销，设计适合于不同分布式系统的推理算法。

一些算法中的部分参数之间不需要交换信息，只需要计算得到最后结果汇总即可；对于这类问题，只需要对原算法进行适当优化，部署在系统上即可有较好的效果。但是，还有更多算法本身并不适合并行化处理，这就意味着算法本身需要修改，使得其可以进行分布式计算，这也是贝叶斯学习的研究热点之一，并且已经取得很多重要进展，包括分布式变分推理〔67〕和分布式蒙特卡洛方法〔69〕等。

例２．以主题模型为例，经典的模型使用共轭狄利克雷先验，可以学习的主题结构〔70〕，但是，不能学习主题之间的关联关系。为此，使用非共轭Logistic-Normal先验的关联主题模型（correlated topic model, CTM）〔71〕被提出。ＣＴＭ的缺点是其推理算法比较困难，已有的算法只能处理几十个主题的图结构学习。为此，笔者课题组近期提出了ＣＴＭ的分布式推理算法〔72〕，可以处理的数据集，学习上千个主题之间的图结构。该算法的部分结果如表２所示，其中Ｄ表示数据集大小，Ｋ表示主题个数。由表２可以看出分布式推理算法（即gＣＴＭ）极大地提高了模型可以承载的数据量（如600万的维基百科网页）和更多的主题个数（如1000）。这个项目的代码及更多信息已经公布，读者可以自行浏览〔73〕。

在上述主题图结构的学习基础上，进一步开发了“主题全景图”（TopicPanorama）可视化界面，它可以将多个主题图结构进行融合，并且以用户友好的方式展现在同一个界面上，如图６所示，其中每个节点代表一个主题，节点之间的边代表相关联关系，边的长度代表关联强度，所用数据集为微软、谷歌、雅虎等３个IT公司相关的新闻网页。该可视化工具具有多种交互功能，用户可以使用放大或缩小功能对主题图的局部进行仔细查看，同时，也可以修改图的结构并反馈给后台算法进行调整。多位领域专家一致同意该工具可以方便分析社交媒体数据。更多具体描述参见文献〔74〕。

5.3 基于硬件的加速

随着硬件的发展，使用图形处理器（graphics processing units, GPU）、现场可编程逻辑门阵列（field-programmablegate array, FPGA）等硬件资源对贝叶斯学习方法进行加速也是最近兴起的研究热点。例如，有研究者利用GPU技术对话题模型的变分方法〔75〕和ＭＣＭＣ算法〔76－77〕进行加速，还有一些研究者利用FPGA对蒙特卡洛算法〔78〕进行加速。利用强大的硬件设备，搭配适当的模型和算法架构，可以起到事半功倍的效果。

6 总结与展望

贝叶斯统计方法及其在机器学习领域的应用是贝叶斯学习的重要研究内容。因为贝叶斯理论的适应性和可扩展性使得贝叶斯学习得到广泛的应用．非参数贝叶斯方法和正则化贝叶斯方法极大地发展了贝叶斯理论，使其拥有更加强大的生命力。

近年来，大数据贝叶斯学习成为人们关注的焦点，如何加强贝叶斯学习的灵活性以及如何加快贝叶斯学习的推理过程，使其更加适应大数据时代的挑战成为人们考虑的问题。在这一时期许多新的方法和理论将被提出，贝叶斯学习也与其他许多方面的知识相结合，如并行计算、数据科学等，产生很多新的成果。可以预想，贝叶斯学习肯定会有更多更新更好的成果，也会在将来有更广泛的应用。

Zhu Jun. born in 1983. Associateprofessor and PhD supervisor in Tsinghua University. His current researchinterests include machine learning, Bayesian statistics, and large-scalelearning algorithms and applications.

Hu Wenbo, born in 1992.PhDcandidate in Tsinghua University. His current research interests includemachine learning and scalable Bayesian learningmethods(hwb13@mails.tsinghua.edu.cn).

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-60552-6.html