计算机杂志 【AI幽灵】超90%论文算法不可复现，你为何不愿公开代码？(2)

击败幽灵：从论文中自动生成代码

在AAAI会议上，加拿大麦吉尔大学的计算机科学家Peter Henderson表示，通过反复试验学习设计的AI的性能不仅对所使用的确切代码高度敏感，还对产生的随机数“超参数”也非常敏感——这些设置不是算法的核心，但会影响其学习速度。

他在不同的条件下运行了这些“强化学习”算法中的几个，发现了截然不同的结果。例如，运动算法中使用的一个简笔画虚拟“半猎豹”，它可以学习在一次测试中奔跑，但只会在另一次测试中在地板上徘徊。

Peter Henderson说，研究人员应该记录更多这些关键细节。 “我们正试图推动这个领域有更好的实验程序，更好的评估方法。”

Peter Henderson的实验是在OpenAI Gym强化学习算法测试平台上进行的，OpenAI的计算机科学家John Schulman帮助创建了Gym。John Schulman说，Gym有助于标准化实验。计算机杂志 “Gym之前，很都在进行强化学习，但每个人都为自己的实验做好了自己的环境，这使得大家很难比较各种论文的结果。”

IBM Research在AAAI会议上提出了另一种工具来帮助复现：一种自动重新创建未发布源代码的系统，它为研究人员节省了数天或数周的时间。这个系统是一种由小型计算单元层组成的机器学习算法，类似于神经元，用于重新创建其他神经网络。系统通过扫描一份AI研究论文，寻找描述神经网络的图表或图示，然后将这些数据解析为图层和连接，并以新代码生成网络。该工具现在已经复现了数百个已经发布的神经网络，IBM计划把它们放置在一个开放的存储库中。

荷兰埃因霍芬理工大学（Eindhoven University of Technology in the Netherlands）的计算机科学家Joaquin Vanschoren为创建了另一个存储库：OpenML。它不仅提供算法，还提供数据集和超过800万个实验运行及其所有相关详细信息。 “你运行实验的确切方式充满了无证的假设和决定，很多这些细节从来没有成为论文。”Vanschoren说。

心理学通过创造一种有利于复现的文化来处理它的再现性危机，AI也开始这样做。 2015年，Rougier帮助启动了一个致力于复现的计算机科学杂志ReScience，NIPS已经开始从其网站链接到论文的源代码（如果有的话）。

Nan Rosemary Ke正在邀请研究人员尝试复现提交给即将举行会议的论文，以实现“可复现性挑战”。Nan Rosemary Ke说，近100个复现项目正在进行中，大多数是由学生完成的，他们可能因此获得学分。

然而，人工智能研究人员表示，目前的激励措施仍然不符合可复现性。他们没有足够时间在每种条件下都测试算法，或者在文章中记录他们尝试过的每个超参数。因为他们面临发论文的压力——许多论文每天都在网上发布到arXiv上，而且也没有同行评审。

此外，许也不愿意报告失败的复现。例如，在ReScience，所有公布的复现项目迄今为止都是正面的。Rougier说，他也尝试过发表一些失败的项目，但年轻的研究人员往往不希望批评别人，失败的项目也就无人问津了。这就是为什么Nan Rosemary Ke拒绝透露她想用作基准的语音识别算法背后的研究人员的原因之一。

Gundersen说这种文化需要改变。 “这样做不是羞愧”他说， “这只是说实话。”

如果我们想要信任AI，必须能够复现它

Gundersen说，随着人工智能领域的发展，打破不可复现性将是必要的。

复现对于证明实验产生的信息能够在现实世界中一致地使用，并且得到非随机的结果是必不可少的。一个仅由其创建者测试过的AI在另一台计算机上运行时或者如果输入不同的数据时，可能不会产生相同的结果。

当涉及到机器学习算法时，可复现性问题会变得尤其突出。有很多原因导致人们不会共享源代码或数据：代码可能正在完成中，或属于公司的专有信息，再加上研究人员担心竞争，因此机器学习算法的可复现性较差。在某些情况下，代码甚至可能完全丢失：电脑破损或被盗、硬盘丢了，或者被狗吃掉（可以找这种借口）。

这种情况对行业的未来不是好消息。人工智能一直在产生令人难以置信的繁荣，并且很可能我们会在未来几年拥有超智能的AI，它将在社会中扮演越来越重要的角色。如果我们想让这种美好的未来持续繁荣，我们必须信任我们实施的每一个AI，如果我们想要信任它，就必须能复现它。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-82060-2.html