基于高性能集群计算的并行文件系统关键技术研究

“西安电子科技大学” 2011

张小波

【摘要】: 本文提出了一种基于并行文件系统的地震数据处理集成平台架构，消除了传统共享网络存储系统的瓶颈并行文件系统，解决了数据处理的效率问题. 油气勘探地震数据处理中的许多过程都需要同时读取和写入大量数据. 由于网络带宽和文件系统等性能问题，I / O等待和群集系统效率低下，无法实现有效的协作工作. 通过分析并行计算，数据布局特征和地震数据处理应用中的主流网络存储技术，发现了制约高性能计算效率的关键因素. 通过对并行文件系统Lustre进行深入的技术和应用场景分析，得出的结论是Lustre可以成为存储系统和应用程序软件之间的桥梁，从而消除了访问存储系统的大量并发应用程序进程的瓶颈. 构建了带有Luster文件系统的高性能集群系统，以测试系统I / O和应用程序性能. 对测试数据的分析证实了该程序的有效性，为下一步的推广和优化基础奠定了良好的基础.

[授予学位的单位]: 西安电子科技大学

[学位]: 硕士

[学位奖]: 2011

[分类号]: TP316.4

下载更多类似文档的全文

CAJ全文下载

（如何获取全文？欢迎使用: 购买HowNet充值卡，充值，咨询）

CAJViewer阅读器支持CAJ，PDF文件格式

[参考文献]

中文期刊全文

孙丽丽；谭华芳共享对象存储的并行文件系统设计[J]；中国电机工程学报计算机应用; 2005年S1

赵健;;高性能地球物理计算的新选择: GPU计算技术[J]；中国科学院院刊勘探地球物理学进展； 2007-05期

张国军；傅正秀孙凯王艳华郑立和;;大型地震数据处理系统的存储技术[J]；中国地震局. 特种油气藏； 2007年第2号

曾必清，陈志刚，谭露，邓小恒；并行文件系统和并行I / O的研究[J]；中国电机工程学报微型计算机开发； 2004年第12号

张俊华，童兆奇；关键词: 并行计算机技术，地震数据处理物探与化探计算技术； 2002年第01期

[引用文献]

中文期刊全文

杜欣；严锐刘家海监控摄像机视频去隔行与CUDA加速[J];传感器技术杂志； 2010-03-03

王桂清；徐明孟桂生盛兰民陈桂平刘莉李谦;;王官屯油田老井复检技术研究与应用[J]；中国石油天然气股份测井技术； 2009-05期

黄洪军，严协扬，何爱民，罗勇，陶学福；钻井液与完井液质量监测系统[J]；中国石油天然气集团公司断层油气田； 2002年3月

于欣，吴建超，齐德山，刘方建，张为华；关键词: 高磁振荡脉冲增注技术，胡庆油田断块油气田； 2003-04

冉启友；剩余油形成条件研究[J]；中国石油大学学报（自然科学版）断层油气田； 2003-06年期间

吴建超，齐德山，于欣，班彦，刘芳健；分层起始压力测试管柱在注水井中的应用［Ｊ］. 断块油气田； 2004 03期

刘伟，彭存仓，张波，韩英华，张兴华；低渗透油藏高压充填防砂技术研究[J]；中国水产科学断层油气田； 2005 01期

迟小华;;综合地震数据管理系统的设计与开发[J]；中国地震局计算机编程技巧和维护； 2012-12

罗晓荣，肖立新，李学义，张立强，曾志平，王兆明；准gar尔盆地南缘中段压力异常分布及其影响因素[J]；中国水产科学地球科学; 2004-04

方喜贤；熊玉琴;季玉祥;; Yan岐盆地低含水油层成因及解释方法探讨[J]；中国石油天然气股份大庆石油地质与开发； 2007年1月

中国重要会议论文全文

张娟；徐仁陈学国;;叠前中深层气藏识别技术研究[A];中深层天然气勘探技术研讨会论文汇编[C]； 2005

罗红梅；木星探索识别叠后中深层气藏的新技术[A];中深层天然气勘探技术研讨会论文汇编[C]； 2005

彭颖；万建华吴楠;;基于云的分布式油田物探数据存储与服务平台[A]； 2010年第16届全国信息存储技术大会（IST2010）的会议记录[C]； 2010

范廷根；胡光义王辉;谷莉;;地震储层研究[A];中国地球物理学会第22届年会论文集[C]; 2006

中国博论文全文

王音；储层钻井液瓦斯定量检测影响因素与方法研究[D];山东科技大学2010

张帆；基于MPI和GPU直流电方法以及三维正向电磁方法的并行算法研究[D];中国地质大学（北京）； 2011

郑元满； 3D重力和磁特性实时可视化反演关键技术研究[D]；中国电机工程学报中国地质大学（北京）； 2011

毕彦昌；兴南富阳水库有效开发方法研究及过渡带井网优化[D];中国科学院院（渗流力学研究所）； 2011

杨斌；中国石油企业海外油气开发项目风险识别与控制研究［D］；哈尔滨工业大学2010

何旭利； [D];中国石油大学2011

杨宝军；国际油气勘探开发项目风险管理研究［D］；哈尔滨工程大学2003

王焕迪；岩性油气藏地球物理勘探技术及其应用[D];中国地质大学（北京）； 2005

孟恩；东营De陷孔店组含油体系的地震地质研究[D];中国海洋大学2005

钟俊义；泌阳凹陷北坡储层形成规律及勘探目标评价[D];中国地质大学（北京）； 2006

中文硕论文全文

韩文超；潜水油泵智能保护系统[D]；哈尔滨科技大学; 2010

齐明远；基于多模式纹理分类的图像隐写分析算法[D];华东理工大学; 2011

张伟；基于GIS的石油勘探开发综合测井地图处理系统[D]；西安电子科技大学2011

程熙；数字油田非结构化数据管理系统的设计与实现[D];西北大学2011

王道元；邢北地区旧地震资料再处理后的良好地震组合研究与应用[D];浙江大学2011

田亮；基于CUDA的足迹表方法的可视化研究[D]；南京科技大学2011

曹永生；地震数据处理与可视化技术的研究与应用[D]；电子科技大学2011

黄成满；基于CUDA并行计算的无人机遥感图像快速拼接[D];电子科技大学2011

刘华莎；烷基芳基磺酸盐的分子量和分布对原油乳化的影响[D]；东北石油大学2011

方玉瑾Shan善油田低渗油藏注水开发技术研究[D]；中国石油天然气集团公司东北石油大学2011

【二级参考文献】

中文期刊全文

刘琦，王烨，张德福； GRISYS / P: 基于NOW环境的地震数据并行处理系统［J］；计算机工程与应用； 1999-05期

李群；谢莉孙中秀;;并行文件系统设计[J]；中国电机工程学报计算机科学; 1996-04

陆凯，金世尧，陆锡成；并行文件系统中适度贪婪缓存预取集成算法[J];计算机应用计算机科学学报1999年第11号

赵有进步；我们需要多大又快的计算机[J]；勘探地球物理进展； 2004年第01期

赵剑之;;可重构计算技术及其在地球物理学中的应用前景[J];中国科学院大学学报勘探地球物理前景； 2007-04期

张俊华，刘忠义； “地球探测与信息技术”学科的发展趋势[J]；地球科学石油科学技术论坛； 2000年第2号

李家康，范家芳，边喜燕，宁俊瑞；并行处理器的3D叠前深度偏移[J]；石油物探； 1998年第2号

赵家宝，鲍洪林；集群计算技术及其在石油工业中的应用[J];中国电机工程学报石油物探； 2001年第03号

赵建利，李建峰，王玉静，魏海亮；网格计算技术及其在石油勘探开发中的应用前景[J];石油物探； 2005-05期

曲凤山，王小玲，刘峰； Paragon并行计算机的性能分析与应用[J];中国电机工程学报石油仪器； 1999年第03号

[相似文献]

中文期刊全文

陆凯，金世尧，陆锡成；新的并行I / O服务模型: IDDIO [J]；计算机研究与开发； 1999年第07号

李胜利，汤唯，史可，程斌，孟廷有；高可用性并行文件系统的分布式元数据管理[J]；中国电机工程学报应用科学学报2005-03）

王成才，傅锡纯，胡德华； PARAGON XP / S并行计算机PFS文件系统的研究[J]；中国电机工程学报国外油田工程； 1997年第09期

奔通；周艳红一种Linux集群文件系统的研究[J];购物中心现代化； 2007年第25期

李群；谢莉孙中秀;;并行文件系统设计[J]；中国电机工程学报计算机科学; 1996-04

孙宁辉；并行文件系统设计[J]；中国电机工程学报计算机科学学报1994-12

李群，谢莉并行文件系统，孙中秀； Parfsnow ++: 完全使用内存的并行文件系统[J]；电子杂志； 1999年2月

赵欣，陈道初，谢莉；并行文件系统PARFSNOW ++中的协作式缓存技术研究[J];计算机应用电子杂志； 2000-09期

赵欣；陈道初谢莉;;基于NOW的跨平台并行文件系统的设计与实现[J]；中国电机工程学报计算机科学; 2000年第2号

庞丽萍，何飞跃，岳建辉，徐杰；关键词: 并行文件系统，集中元数据管理，高可用系统，设计计算机工程与科学； 2004年第11号

中国重要会议论文全文

谢飞；钱书霞;;新华社奥运报道系统中并行文件系统技术的实现与应用[A];中国新闻工作者协会2008年年会论文集（第1部分）[C]； 2008

赵志刚;;存储系统在企业信息化中的应用[A]; 2005年安徽省通信学报[C]； 2006

朱平；朱建涛;高建刚;姜金虎高性能计算存储关键技术研究[A]; 2010年第16届全国信息存储技术大会（IST2010）的会议记录[C]； 2010

周波；苏少英陈增平;;基于CPCI总线的宽带雷达数据传输与存储系统设计[A]；第二届全国信号处理与应用大会特刊[C]； 2008

周公业；周江陈曦陈金才;;寄生存储原理及实现机制[A]；第十五届全国信息存储技术会议论文集[C]; 2008

王莉；张文松杨学军;; Cfslight: 一种新型的轻量级对象存储集群文件系统[A]； 2006年全国开放式分布和并行计算会议论文集（1）[C]； 2006

聂明;;建立大容量存储系统以增强媒体竞争力[A]；中国新闻工作者协会2008年年会论文集（第二部分）[C]； 2008

罗相玉；李传友王云删除码容错组的布局策略研究[A];第十八届全国多媒体学术会议（NCMT2009），第五届全国人机交互会议（CHCI2009），第五届全国普适计算会议论文集（PCC2009）[C]； 2009

林茂；张峰徐涛; Tayil;刘磊;;构建满足石油地震勘探和开发需求的PC集群存储系统[A]；第十届全国信息技术和化学应用年会论文集[C]; 2005

王克敏；张曦胡江kai王义涛;; NWP数据归档方法和存储系统的应用[A]； 2006年中国气象学会年会，《中尺度天气动态，数值模拟与预报》 [C]； 2006

重要中国报纸全文

浪潮存储产品部研发工程师龚兴斌； [N];网络世界； 2005

; [N];互联网世界； 2006

张洪平侯明权记者刘洪超实习生刘慧娟[N];陕西日报； 2003

由郝长杰，胡家流教授执导； [N];中国计算机报； 2007

; [N];互联网世界； 2006

孙宁辉，中国科学院计算研究所； [N];计算机世界； 2002

记者Munch； [N];互联网世界； 2005

; [N];互联网世界； 2006

宋佳玉； [N];互联网世界； 2009

郎飞； [N];中国计算机报； 2006

中国博论文全文

屠旭东；基于对象的并行文件系统接口的语义扩展研究[D];华中科技大学; 2011

牛忠英；并行文件系统安全性研究[D];华中科技大学; 2010

万继光；集群多媒体存储系统数据组织研究[D];华中科技大学; 2007

杨熙；智能网盘存储管理方法研究[D];中南大学2012

卢成涛；存储系统性能管理问题研究[D]；华中科技大学; 2010

王玉林；多节点容错存储系统的数据和缓存组织研究[D];电子科技大学2010

聂学军；内容感知存储系统信息生命周期管理关键技术研究[D];华中科技大学; 2011

施展；基于本体的存储系统管理研究[D]；华中科技大学; 2011

罗东健；大型存储系统高可靠性关键技术研究[D]；华中科技大学; 2011

聂学军；内容感知存储系统信息生命周期管理关键技术研究[D];华中科技大学; 2010

中文硕论文全文

张小波；基于高性能集群计算的并行文件系统关键技术研究[D];西安电子科技大学2011

林允章；并行文件系统缓存技术研究[D];华中科技大学; 2004

何飞跃；并行文件系统元数据管理研究[D];华中科技大学; 2004

周凡夫；大容量存储系统中并行文件系统的测试与优化[D];上海交通大学2012

李少松；分布式并行文件系统安全性的研究与实现[D];电子科技大学2004

杨俊杰；并行文件系统的数据容错研究[D];华中科技大学; 2004

黑继伟；基于分布式并行文件系统HDFS的复制管理模型[D]；吉林大学2010

杨树峰；分布式并行文件系统的复制管理策略[D]；电子科技大学2003

吴华；分布式并行文件系统的日志管理[D]；电子科技大学2004

姜珂；面向服务器的分布式并行文件系统[D]；电子科技大学2002

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-201659-1.html