六 基于大数据的人工智能的挑战和机遇
第六部分是我个人根据在研究过程中的理解,和跟业界专家交流的经验,总结提炼出来的。供大家借鉴和讨论交流哈。
挑战:
现有的数据量虽然已经很大,但是还不够多,常见数据的冗杂,维度和多样化不够,不能涵盖真实世界可能出现的各种边界情况
现有的分布式系统上的实现方法,节点间需要传输大量数据和参数,通信代价太高,当节点数目超过一定数量时,不能获得持续的加速比。分布式系统如何设计,需要DNN算法专家和系统专家共同协同解决,解决的方法可能既要修改算法使之跟底层硬件架构匹配,又要求系统专家设计计算能力强大的单机器,又要设计高密度整合、高效通信的服务器。
Big Data 深度神经网络的人工智能模型,其数据量和计算量都非常大,经常需要几个星期甚至几个月的训练时间,势必要求并行训练以提高训练速度,但是多个节点间训练不同数据时如何协调和同步,可能需要从算法角度重新设计。
机遇:
人工智能的新浪潮将引领未来20年的技术和系统革命,这个浪潮首先在互联网公司掀起,由Google, Facebook和百度形成的三家分立的局面正在如火如荼的进行研究。光有算法是解决不了最终问题的,硬件平台是大数据算法的enabler。硬件领域也需要抓住此时机,回答硬件系统如何设计具有人工智能的本领,这是系统研究人员面临的机遇。amd中国研究院
在这个方面,IBM的沃森处理器是一个好的研究成果,并且已经投入使用解决一些大数据的金融分析、实时语音翻译等应用,取得业界非常高的肯定和反响。非常值得学习,几年之后也许会出现更多类似沃森的智能机器或者“机器人”。
非监督学习解决真实世界中超物体的识别,通过使用不加标签的数据直接训练,在不需要人工模型干预的情况下学习数据中的规律、模式和特征等,理解通常人类大脑不能直接提取和抽闲出来的问题, 为人类所用,解决实际问题。充分挖掘大数据中隐藏的价值,为人类生活服务。
最后,有感兴趣合作的欢迎跟我们联系,AMD DNN研究小组是研究院和产品部联合的一个项目,我们平时也跟互联网公司等合作,致力于研发DNN的软件解决方案和底层的硬件系统。我们初步的研究结果已经发表在2014年6月的Asian-Pacific System(亚太地区系统峰会)上,后续还会有更多成熟结果发表,敬请关注。
全部讲完,下面是提问时间。
互动问答:
王昊奋:打断一下,DNN相比shallow model在功耗管理和体系结构设计方面,会多少优势呢?因为对这方面的论文不是特别了解,请@junli 说说
谷俊丽:对于复杂的多核体系结构,有共享资源和核私有资源之分,传统的Shallow 模型不能很好的建模,模型的层次,取决于问题本身的层次和复杂度哈
王昊奋:是因为表达能力不够么?具体的shallow model比较了哪些(SVM, logistic regression, bayes network?)
谷俊丽:不光是表达能力,是因为问题本身需要多层次来表达,MLP模型
尚硕:隐约觉得系统内存负担比较重,需要堆砌更多内存,此时如果多系统并联时的系统通信成本,应该会多少抵消掉一些优势,内部速度相比PCI-E总线延迟低些、速度快些,但如果继续增加规模,隐约觉得可能会遇到更大的瓶颈。
武新 :AMD的APU 是否已经商业化了?
谷俊丽:已经商用了,现在主要用于桌面电脑,公司有倾向集成系统
赖兆红:谷俊丽?你们对前期数据,在训练前做过滤分析吗?
谷俊丽:暂时还没有,只做预处理
尚硕:预处理的程度是?进行完整的数据清洗、整理,还是只做简单的数据归集?
本文来自电脑杂谈,转载请注明本文网址:
http://www.pc-fly.com/a/dianqi/article-33771-6.html
这种挑衅有毛用
万斤顶顶
日俄战争日本伤亡比俄军多几万人