高性能计算机的内存和I / O特性分析和性能优化

“国防科学技术大学” 2015

关于

[摘要]: 随着计算机异构系统结构的快速发展和高性能CPU技术的发展，以“天河2号”为代表的超级计算机的峰值计算性能已达到54.9PFlops，并正在向EFlops规模发展. CPU，内存，互连网络和外部设备是超级计算机的主要组成部分. 前三个是光电设备，而作为主要外部设备之一的存储设备是机器，电气和磁性设备. 发展速度差距很大. 通常，内存访问和通信带宽约为每秒几GB，延迟约为几纳秒，但是以磁盘为主体的存储设备的带宽约为每秒几十至数百MB，访问延迟是几毫秒. 计算，复制内存和通信性能以及I / O性能之间的严重不平衡极大地影响了应用程序的执行性能. 为此，有必要分析高性能计算应用程序使用的计算，内存和I / O资源，以便从内存访问和I / P方面了解应用程序的操作特性和系统的性能问题. O，并研究解决问题的方法. 本文着重对高性能计算应用程序的特性进行以下研究: （1）分析了当前超级计算机的组成和发展状况，超级计算机的存储系统以及高端计算机的内存和I. 性能计算应用研究/ O需求. （2）分析TH-1A上高性能计算应用程序的内存使用情况，发现内存使用不足导致内存浪费. 研究了优化存储结构的技术方法. （3）一种基于NBD机制的内存优化技术，使用远程节点内存来建立Page Swap区域. 该技术利用超级计算机通过网络访问远程内存的性能优于访问本地磁盘的性能，并使用了远程内存交换磁盘技术，该技术使本地节点可以在内存紧张时将页面交换到远程节点. . 在内存上，它可以有效地提高TH-1A上的内存使用率. （4）研究分析高性能计算应用程序I / O特性的技术方法，并设计一种可在TH-1A上高效运行的I / O Trace收集和分析工具. （5）使用该工具首先监视基准程序MADbench2和b_eff_io的I / O行为高性能计算机的结构，然后分析在TH-1A上石油地震勘探的典型数据密集型应用中的绘图收集程序的I / O特性. 了解这些程序的I / O特性可以帮助我们有针对性地优化应用程序，并减轻系统的I / O瓶颈.

[授予学位的单位]: 国防科学技术大学

[学位]: 硕士

[学位奖]: 2015

[分类号]: TP38

下载更多类似文档的全文

CAJ全文下载

（如何获取全文？欢迎使用: 购买HowNet充值卡，充值高性能计算机的结构，咨询）

CAJViewer阅读器支持CAJ，PDF文件格式

[参考文献]

中文期刊全文

张云泉;; 2014年中国高性能计算机发展现状分析与展望[J]；中国电机工程学报信息技术与科学研究应用； 2015-01

孙光宇；舒继武王鹏非易失性存储器的结构和系统级设计与优化综述[J]；中国电机工程学报华东师范大学学报（自然科学版）； 2014-05期

李敏;;高性能并行计算机的发展及其在石油勘探中的应用[J];科技导报； 2014-02期

李白薇;; “天河二号”: 回到超级计算机顶部[J]；中国科学技术奖； 2013年第11期

朱小倩；孟祥飞苏晓东冯景华“天河一号”大型并行应用测试[J]；中国电机工程学报计算机科学; 2012年03月

魏敏；王斌孙静顾俊霞洪文东;

周兴明;;高性能计算技术的发展[J];中国电机工程学报《自然》杂志； 2011年第05期

朱平；朱建涛;高建刚;姜金虎高性能计算存储关键技术研究[J]；中国电机工程学报计算机研究与开发； 2011年S1

卢凯；迟万清;刘永鹏;汤宏伟高性能计算机系统虚拟化技术研究[J]；中国电机工程学报计算机工程与科学； 2010-07

江延波;;内部存储器系统介绍[J]；人力资源管理; 2010-04

中国博论文全文

李琼；用于高性能计算的可扩展I / O架构的研究与实现[D];国防科学技术大学； 2009

王永庆；基于快速网络的新型存储层次结构的设计与实现[D];国防科学技术大学； 2003

中文硕论文全文

张伟伟；面向I / O密集型应用的高性能计算机存储系统性能优化方法研究[D];国防科学技术大学； 2012

田永喜；分布式I / O跟踪收集与重播技术的研究与实现[D];华中科技大学; 2012

董文瑞；高强度I / O应用并行存储系统的挑战与解决方案研究[D];国防科学技术大学； 2011

丹飞；开发PC系统资源检测软件[D]；苏州大学2010

钱颖金；基于对象存储的高可用技术研究与实现[D];国防科学技术大学； 2005

[共同引用的文献]

中文期刊全文

李学健;;高校高性能计算平台的应用与服务模式探索[J]；中国电机工程学报计算机知识与技术； 2015 No.36

宋玉飞；张俊杰王凯李嘉琪薛子伟郑悦;;基于FPGA的基于FPGA的10G可靠互连通信的设计与实现[J]；中国电机工程学报上海大学学报（自然科学版）； 2015-05 p>

杨哲瑞；高娜刘亮;;天文数据分析与多维信息可视化平台的建设与管理[J]；中国电机工程学报科研信息技术与应用； 2015-05期

陈红梅；张继英;;集群高性能计算系统研究[J]；中国电机工程学报计算机时代； 2015-07期

张健;;基于虚拟化技术的企业桌面系统的设计与实现[J]；中国电机工程学报山东工业技术； 2015-13期

曾鸿利；刘涛;刘素娟计算机在石油勘探开发中的应用探讨[J]；中国石油天然气集团公司中小型企业管理与科学技术（最新期刊）； 2015-06期

赵微博；刘庆凯杨洋;;非结构网格上弹性力学数值模拟的并行实现[J]；力学学报计算机研究与开发； 2015-05期

景明伟；周永义雷以安;;校园级高性能计算公共服务平台的建设困境与思考建议[J]；中国电机工程学报华东师范大学学报（自然科学版）； 2015年S1

陈红梅；李浩钱同辉赖崇远;;高性能计算机的发展历史与现状[J]；中国电机工程学报软件指南； 2015年03月

杨柳；张志明超级计算中心与云计算中心融合构建框架研究[J]；中国电机工程学报信息系统工程； 2015年01期

中国博论文全文

郭玉峰；高性能I / O架构和多核微处理器芯片的实现技术[D]；国防科学技术大学； 2010

李景梅；多核处理器设计技术研究[D];哈尔滨工程大学2010

楚锐；基于虚拟计算环境的内存资源共享技术研究[D];国防科学技术大学； 2007

中文硕论文全文

吴春佳；高性能计算机分布式存储文件系统关键技术研究[D];国防科学技术大学； 2016

邵亚超；基于超级计算机的脑神经网络仿真技术研究［D］；国防科学技术大学； 2015

李伟；肿瘤与心血管疾病临床与组学大数据存储与挖掘技术研究［D］；国防科学技术大学； 2015

关于；高性能计算机的内存和I / O特性分析及性能优化[D]；国防科学技术大学； 2015

金金哲；基于数据挖掘的服务器性能优化技术研究[D];吉林农业大学2013

陈越；基于计算思想的中学信息技术教育研究[D];扬州大学2012

田亚坤；基于对象存储系统的元数据管理方法研究[D];哈尔滨工程大学2010

常开； SAS扩展器的设计与实现[D]；华中科技大学; 2008

【二级参考文献】

中文期刊全文

李波；刘宏伟刘国峰；童小龙刘宏;郭健裴江云；

张俊华； ang胜涛单连玉石林光高性能计算的发展现状与趋势[J]；中国电机工程学报石油地球物理勘探； 2010-06

赵家芝;;物探软件技术的发展趋势与战略研究[J]；中国地质科学院学报勘探地球物理学进展； 2010年第02版

王少文；陈明天河一号超级计算机系统的研制[J]；中国电机工程学报国防技术； 2009-06

王光义；张汝华;; Roadrunner petaflop超级计算机简介[J]；中国电机工程学报高性能计算技术； 2009-03期

赵健;;高性能地球物理计算的新选择: GPU计算技术[J]；北京大学学报（自然科学版）勘探地球物理学进展； 2007年第05期

赵怡；朱鹏;迟学斌牛铁;曹宗彦;;高性能计算应用需求与发展分析[J]；中国电机工程学报计算机研究与开发； 2007-10-10

迟学斌；赵怡;;高性能计算技术及其应用[J]；中国电机工程学报中国科学院学报2007-04

赵建利，李建峰，王玉静，魏海亮；网格计算技术及其在石油勘探开发中的应用前景[J];石油物探； 2005-05

赵有进步；我们需要多大和多快的计算机[J]；勘探地球物理学进展； 2004年第01期

中国博论文全文

江江；异构集群系统中基于进程迁移机制的负载均衡算法研究[D];国防科学技术大学； 2002

中文硕论文全文

程思远；异构（CPU-GPU）计算机系统性能评估与优化技术研究[D];国防科学技术大学； 2011

陈聪；叠前逆时偏移和成像[D]；中国地质大学（北京）； 2011

高恒国；嵌入式仿真开发平台架构的研究与实现[D];电子科技大学2006

杨斌；嵌入式软件仿真开发平台运行环境的设计与实现[D];电子科技大学2006

[相似文献]

中文期刊全文

李雯；唐志敏一种减少存储器访问等待时间的方法[J]；计算机工程; 2006-0303

王小元；廖小飞刘海坤金海;;大数据异构存储系统[J]；北京大学学报（自然科学版）大数据; 2018-04

赵朝永；姜国进;;核动力厂I / O变量信息快速检测方法研究[J]；中国电机工程学报自动化博览会； 2017-04

孙岩;;远程I / O系统在海上平台项目中的应用[J];仪器使用者； 2016-02

郑伟；孙琴;姜绪标;;远程I / O技术在海上石油平台中的实践与应用[J]；中国石油天然气股份工业控制计算机； 2011-05期

郭玉峰；郭松新;龚瑞;;一种多核处理器I / O系统的软错误容错方法[J]；中国电机工程学报计算机工程与科学； 2011-10期

顾玉良李强杨善建何佳基于现场总线和分布式I / O控制的混凝土搅拌站设计[J]；中国电机工程学报科技广场； 2011 No.12

潘作云;;远程I / O系统在港口桥式起重机电气控制系统中的应用[J]；中国电机工程学报运输技术； 2010-06

刘琳；刘正喜基于I / O解决方案的主从线程池[J];微机信息； 2009-18期

吴海燕；谭成祥;王海航I / O多路复用代理在网络隔离系统中的应用研究[J];计算机应用计算机科学; 2008-07

中国重要会议论文全文

郭玉峰；郭松新;龚睿;邓宇；张明一种用于多核处理器I / O系统软错误的容错方法[A];第十五届计算机工程和技术年会以及处理器技术论坛的第一篇微型论文集（B系列）[C]； 2011

席文增;;家用远程I / O在大型火电机组中的应用[A]； 2010年全国火电自动化会议论文集[C]； 2010

聂建平；曹旭;钱月英陈玉松;;基于I / O关系的自适应随机测试[A];第六届中国检测学术会议论文集[C]; 2010

崔文健；李春;;应用并行I / O对象实现协议转换[A]；中国自动化学会西南三省一市自动化与仪器仪表年会论文集[C];年

陈虹；夏芳沉伟超宋磊;;大功率微波数值模拟的通用数据格式和I / O接口[A]; 2010年第16届全国信息存储技术大会（IST2010）的会议记录[C]； 2010

张旭；刘小波以太网I / O扫描通信技术在监控系统中的应用[A];中国水电工程学会信息技术委员会2008年学术交流会议论文集[C]； 2007年2008

吴雄杰；孙自强;;远程I / O上CAN总线应用层协议的设计与实现[A]；中国仪器仪表学会第二届智能测控技术与仪器仪表发展学术年会学术论文集[C]； 2008年2008

隋春明；刘畅;;突破高负载业务瓶颈的方法——I / O虚拟化技术[A]；电力工业信息产业2012年年会论文集[C]；中国电力工业信息化研究进展. 2012

王怀瑞；徐庆坤单片机I / O端口键盘扩展方法[A]；中国自动化学会第九届全国自动化新技术学术交流会论文集[C]; 2004

钱吉成；童喜月飞行参数数据文件通用I / O接口设计[A]；第十四届中国系统仿真技术与应用大会（CCSSTA'2012）会议论文集[C]; 2012

中国博论文全文

李红艳；固态磁盘I / O优化技术研究[D];华中科技大学; 2016

谢建国； VBR流视频I / O调度与平滑传输模型及算法优化研究[D];中南大学2002

陈晋中；存储系统I / O调度策略与数据分配方案研究[D];哈尔滨工程大学2013

凌霄；基于虚拟机I / O访问特性的磁盘资源分配研究[D];华中科技大学; 2014

李毅；云环境下典型应用的I / O优化策略研究[D];复旦大学2012

王梦玲；基于I / O数据的空间分布系统建模与预测控制器设计[D];上海交通大学2011

林斌；主存储服务系统中高性能I / O重复数据删除技术研究[D];国防科学技术大学； 2014

卢正武； VBR流媒体分割与I / O调度研究[D];华中科技大学; 2011

刘伟峰；集群环境下并行I / O操作的优化研究[D];山东大学2016

郭玉峰；高性能I / O架构和多核微处理器芯片的实现技术[D]；国防科学技术大学； 2010

中文硕论文全文

关于；高性能计算机的内存和I / O特性分析及性能优化[D]；国防科学技术大学； 2015

常世禄；负载特性驱动的Spark存储器配置关键技术研究[D];北京工业大学2018

甘庆田；不一致内存访问架构的虚拟CPU调度机制研究[D];华中科技大学; 2017

郭小敏；异构内存环境中的系统状态管理机制[D];华中科技大学; 2016

王国浩；细粒度内存访问跟踪模型的研究与应用[D];信息工程大学2013

程龙；虚拟机网络I / O性能评估系统研究[D];华中科技大学; 2009

江波；基于I / O端口的触摸按钮在扬声器设计中的应用[D]；武汉轻工业大学2013

刘飞；嵌入式系统磁盘I / O测试工具的研究与实现[D]；华南理工大学2011

于忠良；并行计算中的I / O问题研究[D];内蒙古大学2010

雍凯英；基于I / O电路的时序模型仿真与验证[D];西安电子科技大学2010

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-183655-1.html