图灵奖引言_图灵奖最多的大学_2002年图灵奖(2)

世界上公认最好的两个统计系来自加州大学伯克利分校和斯坦福大学。加州大学伯克利分校是美国统计学的发源地之一，可以说是当今统计学和机器学习的中心，其机器学习领域的教授通常同时在计算机系和统计系都有正式职位。已故的布莱曼(Leo Breiman)教授是统计机器学习的主要奠基人，他是众多统计学习方法的主要贡献者，比如Bagging、分类回归树(CART)、随机森林以及非负garrote稀疏模型等。布莱曼是乔丹(Michael Jordan)教授的伯乐，当初是他力主把乔丹从麻省理工学院引进到伯克利分校的。可以说，伯克利分校的统计系成就了乔丹，反过来他也为伯克利分校的统计学发展创造了新的活力，为机器学习领域培养了一大批优秀的学者，建立了无可代替的功勋。

斯坦福大学统计系的一个主要方向就是统计学习，比如《统计学习基础》(Elements of statistical learning)一书就是统计系几位著名教授撰写的。斯坦福大学计算机科学系的人工智能方向一直在世界占主导地位，特别是在不确定推理、概率图模型、概率机器人等领域成就斐然。他们的网络公开课“机器学习”、“概率图模型”以及“人工智能”等让全世界学者受益。有意思的是，斯坦福大学和伯克利分校具有令人羡慕的合作竞争关系。一年一度的联合统计学日是两校统计系的交流平台。伯克利分校教授布莱曼和斯坦福大学教授弗莱德曼(Jerome Friedman)合作建立了许多重要统计学习模型。此外，两校教授罗素(Stuart Russell)和诺维格(Peter Norvig)合作的《人工智能：一种现代的方法》(Artificial Intelligence: A Modern Approach)一书是人工智能的集大成。

卡内基梅隆大学是一个非常独特的学校，它并不是美国传统的常春藤大学。可以说，它是以计算机科学为立校之本，是世界第一个建立机器学习系的学校。米歇尔(Tom Mitchell)教授是机器学习的早期建立者之一和守护者，他一直为该校本科生讲授“机器学习”课程。这个学校的统计学同样也是一流，是贝叶斯统计学的世界研究中心。

在机器学习领域，多伦多大学有着举足轻重的地位，它的机器学习研究组云集了一批世界级的学者，在《科学》(Science)和《自然》(Nature)发表多篇开创性的论文，实属罕见。辛顿(Geoffrey Hinton)教授是伟大的思想家，更是实践者。他是神经网络的建立者之一，是误差反向传播(BP)算法和深度学习的主要贡献者。正是由于他的不懈努力，神经网络迎来了大爆发。尼尔(Radford Neal)教授是辛顿的学生，他在贝叶斯统计领域，特别是在蒙特卡洛马尔科夫链模拟方法(MCMC)方面做出了一系列的重要工作,还开源了许多贝叶斯统计方法程序包，并一直致力于优化R语言。

机器学习的发展历程

对于20世纪90年代以前的发展历程，我认识不够，了解不深，觉得当时机器学习处于发展的相对平淡期。而20世纪90年代中期到21世纪00年代中期是机器学习发展的黄金时期，主要标志是学术界涌现出一批重要成果，比如，基于统计学习理论的支持向量机、随机森林和Boosting等集成分类方法，概率图模型，基于再生核理论的非线性数据分析与处理方法，非参数贝叶斯方法，基于正则化理论的稀疏学习模型及应用等等。这些成果奠定了统计学习的理论基础和框架。

然而，机器学习在21世纪00年代末也经历了一个短暂的徘徊期。那时我在加州大学伯克利分校的博士后工作结束，正面临找工作，导师乔丹教授和我进行了多次交流，他一方面认为机器学习正处于困难期，工作职位已趋于饱满，另一方面他向我一再强调，把统计学引入到机器学习的思路是对的，因为以统计学为基础的机器学习作为一个学科其地位已经被奠定。主要问题是机器学习是一门应用学科，它需要在工业界发挥作用，能为他们解决实际问题。幸运的是，这个时期很快就过去了。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-41254-2.html