经典分布式计算模型 贝叶斯机器学习前沿进展(2)

(4)

当没有明显先验分布的情况下，被认为是均匀分布．通过式（4）的积分运算，贝叶斯模型选择可以避免过拟合。

关于贝叶斯统计和贝叶斯学习更为详细的内容，有些论文和教材有更进一步的说明〕。

2 非参数贝叶斯方法

在经典的参数化模型中模型的参数个数是固定的，不会随着数据的变化而变化．以无监督的聚类模型为例，如果能通过数据本身自动学习得到聚类中心的个数，比参数化模型（如K均值、高斯混合模型等）根据经验设定一个参数要好得多；这也是非参数模型一个较为重要的优势。相比较参数化贝叶斯方法，非参数贝叶斯方法（nonparametric Bayesian methods）因为其先验分布的非参数特性，具有描述数据能力强的优点〔13〕，非参数贝叶斯方法因此在2000年以后受到较多关注〔14〕。例如具有未知维度的隐式混合模型〔15〕和隐式特征模型〔16〕、描述连续函数的高斯过程〔17〕等。需要强调的是非参数化贝叶斯方法并不是指模型没有参数，而是指模型可以具有无穷多个参数，并且参数的个数可以随着数据的变化而自适应变化，这种特性对于解决大数据环境下的复杂应用问题尤其重要，因为大数据的特点之一是动态多变。下面将主要针对其中的一些较为重要的模型和推理方法进行简要介绍。

2.1 狄利克雷过程

狄利克雷过程（Dirichletprocess, DP）是统计学家Ferguson于1973年提出的一个定义在概率测度Ω上的随机过程〔18〕，其参数有集中参数α＞０和基底概率分布

，通常记为Ｇ～。狄利克雷过程得到的概率分布是离散型的，因此非常适合构建混合模型，例如，Antoniak于1974年通过给每个数据点增加一个生成概率，构造了一个狄利克雷过程混合模型（Dirichlet process mixture, DPM）〔15〕，即

(5)

其中，是生成每个数据点概率分布的参数，比如高斯分布的均值和协方差等，Ｎ为数据点的个数。

与狄利克雷过程等价的一个随机过程是中国餐馆过程（Chinese restaurant process, CRP）〔19〕。中国餐馆过程是定义在实数域上的具有聚类特性的一类随机过程，也因为其特有的较好展示特性而被经常使用。如图１所示，在中国餐馆过程中，假设有无限张餐桌和若干客人；其中第１名顾客选择第１张餐桌，之后的顾客按照多项式分布选择餐桌，其中选择每张餐桌的概率正比于该餐桌现在所坐的人数，同时以一定概率（正比于参数α）选择一个没人的餐桌．可以看到，当所有的客人选择完毕餐桌，我们可以按照餐桌来对客人进行一个划分．这里每张餐桌代表一个聚类，每个客人代表一个数据点。

可以证明所有的聚类点参数θ可以通过式（6）得到：

(6)

将狄利克雷混合模型中的Ｇ积分即可得到中国餐馆过程，这也说明了两个随机过程的关系．这种简洁的表述也很有利于马尔可夫蒙特卡洛方法的采样〔20〕。

另一种构造性的狄利克雷过程的表述是截棍过程（stickbreaking construction）〔21〕．具体地说，将一根单位长度的棍，第ｋ次切割都按照剩下的长度按照贝塔分布的随机变量，按比例切割：

(7)

即如图２所示，对于一根长度为单位１的棍，第１次切割长度，以后每次切割都切割剩下部分的比例长度。狄利克雷过程的截棍表述是变分推理的基础〔22〕。

2.2 印度自助餐过程

与混合模型中每一个数据点只属于一个聚类不同，在特征模型中每一个数据点可以拥有多个特征，这些特征构成了数据生成的过程。这也符合实际情况中样本数据点有多个属性的实际需求。经典的特征模型主要有因子分析（factor analysis）、主成分分析（principal component analysis）〔24-25〕等。在传统的特征模型中，特征的数目是确定的，这给模型的性能带来一定限制．印度自助餐过程（indian buffet process, IBP）是2005年提出的〔26〕，因其非参数特性能从数据中学习得到模型中的特征个数，使得模型能够更好地解释数据，已经在因子分析、社交网络链接预测等重要问题中应用〔27-29〕。经典分布式计算模型

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-60552-2.html