针对高性能计算机体系结构的MapReduce编程框架优化

[摘要]: 随着大数据时代的到来，科学研究高性能计算机体系结构有哪些，工业应用和其他领域中的数据规模呈爆炸式增长，同时对复杂数据分析的需求也在不断增长. 当前，高性能计算在国家科研和技术服务行业中占有举足轻重的地位，并且随着其应用领域的不断扩大，高性能计算机已经成为数据处理的重要平台. 但是，高性能计算机在处理数据密集型应用程序时仍然存在一些问题. 高性能计算机通常使用集中式共享存储系统（例如Lustre文件系统等）. 这种以存储为中心的体系结构简化了程序编写的复杂性，但是在处理数据时很容易引起I / O瓶颈并减少I / O瓶颈. 系统的整体性能. 随着高性能计算机系统的复杂性和规模的增加，两次故障之间的平均间隔时间越来越短，系统的可用性下降，从而影响了超级计算中心的服务质量. 本文提出使用Map Reduce框架来解决高性能计算机的上述问题. Map Reduce作为用于数据分析和处理的并行计算框架，一经发布便引起了业界和学术界的广泛关注，并迅速成为事实上的大数据处理标准. Map Reduce框架优先考虑系统的容错能力，并解决了系统级别的可用性和可伸缩性问题. 它的“计算数据”思想减轻了海量数据移动I / O的压力，并且在分析和处理数据方有很高的效率. 本文着重于以下研究工作: （1）研究具有集中式共享存储系统的高性能计算机和公用服务器群集之间的结构差异，展示在高性能计算机上部署Map Reduce框架的重要性，以及探索Map Reduce Framework方法和技术的部署. （2）分析Map Reduce框架采用集中式存储后数据流的特征，并使用此功能提高远程数据读写效率，避免重复数据复制，并优化Map Reduce框架的性能. （3）分析集中共享存储系统Lustre的存储特性高性能计算机体系结构有哪些，并根据Map Reduce框架访问数据的特性优化Lustre的性能. （4）研究使用虚拟内存磁盘存储临时数据和中间结果数据，以进一步缓解Luster的I / O压力，从而改善Map Reduce框架的性能. （5）在高性能计算机TH-1A上执行性能测试，以验证优化策略的性能改进效果，显示在高性能计算机上部署的Map Reduce框架的性能优势，表明可以将其应用于Map Reduce Of数据密集型应用程序进行实际生产处理.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-220820-1.html