高性能计算中并行文件系统可伸缩元数据服务的研究

“华中科技大学” 2013

陈琦

[摘要]: 随着计算能力的提高，应用程序主题的规模和复杂性，高性能计算机对并行文件系统的性能提出了越来越高的要求. 频繁创建和删除大量小文件以及并发I /在O操作的应用场景中，文件系统元数据吞吐率成为限制其性能的关键因素. 针对I / O转发架构，提出了一种基于元数据代理的高度可扩展的元数据服务解决方案. 结合作业调度系统，文件系统元数据请求被分发到多个元数据代理，以加快作业文件系统元数据的访问. 并行I / O是高性能计算系统中I / O使用的主要方法，可以分为单数据流模式和共享文件模式. 其中，单一数据流模式给元数据服务带来了很多负担. 针对该I / O模式提出了元数据可伸缩性方案，该方案主要包括两部分: 元数据代理MDDS（元数据委托服务）和基于MDDS的作业调度. 元数据代理基于Luster元数据群集体系结构CMD（ClusterMetaData）实现. 通过减少多个元数据服务之间的耦合，可以确保元数据集群的高可用性；使用目录子树来管理元数据代理空间，以避免交叉节点目录引入的分布式原子操作的复杂性和效率低下；实施元数据迁移，以避免因元数据服务器之间的文件迁移而导致数据对象移动；通过元数据代理的动态增删机制实现元数据代理的灵活部署. 针对高性能计算中I / O转发架构中作业调度的特点，提出了两种基于元数据代理的作业调度策略: 单作业排他单元数据代理调度和多作业共享多数据代理调度. 前者实现了对传统作业I / O访问模式的支持，并避免了多个作业之间的元数据竞争. 后者将单个作业的元数据访问分配给多个元数据代理，以实现作业中的元数据负载平衡. 元数据代理已在116台存储服务器上进行了测试，并且通过模拟I / O转发体系结构中作业的文件系统元数据访问负载来评估了两种作业调度方法. 结果表明，在环境中，元数据代理提供了准线性元数据性能，并且具有比CMD方案更好的可伸缩性；这两种调度方法可以有效地分配作业元数据的负载，并提高高性能计算的性能. 元数据瓶颈.

[授予学位的单位]: 华中科技大学

[学位]: 硕士

[学位奖]: 2013

[分类号]: TP333

下载更多类似文档的全文

CAJ全文下载

（如何获取全文？欢迎使用: 购买HowNet充值卡，充值，咨询）

CAJViewer阅读器支持CAJ高性能计算机并行文件系统，PDF文件格式

[引用文献]

中文期刊全文

孙志卓；李元hang左卫环;万钧何翔谭元LSF: 用于S-RAID 5的能量管理算法[J]；北京理工大学学报2014-02

王震；王磊王瑜;;基于虚拟磁盘块存储的分布式文件系统研究[J]；中国电机工程学报华中科技大学学报（自然科学版）； 2013年S2

方俊华；王汉虎陈玫马丹;; DB-Tree: 一种高性能的闪存索引结构[J];计算机应用程序和软件； 2013-11

周江；王卫平孟丹马灿顾小燕姜洁;;大数据分析的分布式文件系统关键技术[J]；中国电机工程学报计算机研究与开发； 2014年02月

刘厚贵；邢静；霍志刚安学军可扩展的分布式重复数据删除系统，支持海量数据备份[J]；计算机研究与开发； 2013年S2

陈慧洁；李建伟动态哈希目录扩展算法研究[J]；中国电机工程学报太原科技大学学报2013-05期

陈立军；王森康华日志结构云存储中缓存的设计与实现[J]；中国电机工程学报西安邮电大学学报2013-05期

陈昭；于峰陈婷婷基于日志结构的闪存均衡回收策略[J]；中国电机工程学报浙江大学学报（工程科学版）； 2014年第01期

中国博论文全文

黄玉龙；基于GPU的查询技术并行化研究[D];华南理工大学2013

刘勇；基于GPU的内存索引技术[D]；华南理工大学2013

中文硕论文全文

陈锡林；分布式持久缓存系统的研究与实现[D];重庆大学2013

董伟；基于数据关联聚类的数据布局算法[D]；中国暨大学2013

何小春； Web信息挖掘服务平台与数据备份技术研究[D];哈尔滨工业大学2012

牛启凯；基于闪存的海量非关系存储方法研究[D];哈尔滨工业大学2012

宋莹莹；基于内存的塔机系统的设计与实现[D];西安电子科技大学2013

朱爱军；基于数据分类的P2P网络查询优化[D]；湖南大学2013

沉涵；基于PCM的文件系统设计与实现[D];华中科技大学; 2013

杨丽丽；云存储网关的研究与实现[D]；华中科技大学; 2013

王洪民；基于固态硬盘的动态更新策略与倒排索引优化研究[D];华中科技大学; 2013

陈华；多媒体存储用FAT文件系统的研究与应用[D];华中科技大学; 2013

[相似文献]

中文期刊全文

刘炜;; “元数据和语义技术与社会应用”专辑: 都柏林核心元数据2008会议论文选译[J];现代图书馆与信息技术； 2009年第03版

何婷；谢建仓;李建勋;姜仁贵面向水利网格的数据中心的设计与开发[J];中国水利； 2009 No.16

付锡平；简述OCLC元数据服务的动态性及其启示[J];江西图书馆学报2002-04

; OCLC为发布者启动元数据服务[J]；现代图书馆与信息技术； 2009-11期

单光荣;;藏族数字图书馆的体系结构与元数据方案的构建[J]；北京科技大学学报（自然科学版）科学技术与工程； 2006年第14期

陆凯，金世尧，陆锡成；新的并行I / O服务模型: IDDIO [J]；计算机研究与开发； 1999年第07号

李胜利，汤唯，史可，程斌，孟廷有；高可用性并行文件系统的分布式元数据管理[J]；中国电机工程学报应用科学学报2005-03）

王成才，傅锡纯，胡德华； PARAGON XP / S并行计算机PFS文件系统研究[J]；中国电机工程学报国外油田工程； 1997年第09期

刘敏，王义杰；并行I / O技术研究[J]；中国电机工程学报计算机应用研究； 2003 08

奔通；周艳红一种Linux集群文件系统的研究[J];购物中心现代化； 2007年第25期

中国重要会议论文全文

刘群；冯丹基于层次结构的元数据动态管理方法研究[A];第十五届全国信息存储技术会议论文集[C]; 2008

王栓；张明王爱华杨东庆;;基于OAI协议构建可互操作的数字图书馆元数据服务[A]；第十九届全国学术会议论文集（技术报告）[C]； 2002

张明；杨东庆王栓;邓志宏唐世伟;;支持元数据和服务的可互操作数字图书馆框架[A]；第20届全国学术会议论文集（研究报告）[C]； 2003

单光荣于洪志戴玉刚曹辉;;藏族古籍保护技术的体系结构和元数据方案建设[A];民族语言文字信息技术研究-第十一届全国民族语言文字信息研讨会论文集[C]; 2007

万天天；刘强;董海亮;;西南资源环境信息元数据研究［A］；第四届海峡两岸地理信息系统发展研讨会暨中国地理学会第十届年会论文集[C]; 2006

袁波；李明峰;; GIgateway地理数据服务模型的初步探索[A]；第四届海峡两岸地理信息系统发展研讨会暨中国地理学会第十届年会论文集[C]; 2006

孔露；刘承光;;气象数据管理与共享技术研究[A];第七届长江三角洲气象科技论坛论文集[C]; 2010

张立勤；邹华;;基于下一代网络业务支持环境的数据网关[A]；中国通信学会信息通信网络技术委员会2003年年会论文集[C]； 2003

王小林；罗应伟;;地理信息集成互操作平台及其QoS [A]； 2009年`中国地理信息产业论坛暨第二届教育论坛就业大会论文集[C]; 2009

谢飞；钱书霞;;新华社奥运报道系统中并行文件系统技术的实现与应用[A];中国新闻工作者协会2008年年会论文集（第1部分）[C]； 2008

重要中国报纸全文

徐峰焕茂生； [N];计算机世界； 2007

浪潮存储产品部研发工程师龚兴斌； [N];网络世界； 2005

; [N];互联网世界； 2006

; [N];中国计算机报； 2002

; [N];互联网世界； 2006

记者Munch； [N];互联网世界； 2005

由郝长杰高性能计算机并行文件系统，胡家流教授执导； [N];中国计算机报； 2007

; [N];互联网世界； 2006

国家高性能计算机工程技术研究中心肖占业，张建刚； [N];计算机世界； 2003

孙宁辉，中国科学院计算研究所； [N];计算机世界； 2002

中国博论文全文

王娟；对象存储系统中元数据管理的研究[D];华中科技大学; 2010

熊木洲；基于网格计算的分布式数据管理关键技术研究［D］；华中科技大学; 2010

陈平；数据挖掘网格的若干关键技术研究[D];北京邮电大学; 2007

苏勇； iSCSI OSD存储系统端到端服务质量支持策略研究[D];华中科技大学; 2008

屠旭东；基于对象的并行文件系统接口的语义扩展研究[D];华中科技大学; 2011

刘伟；基于本体的数字图书馆语义互操作性［D］；复旦大学2006

彭春华；网格移动定位服务及关键技术研究[D];南京航空航天大学2007

李冰；云计算环境中动态资源管理关键技术研究[D];北京邮电大学; 2012

牛忠英；并行文件系统安全性研究[D];华中科技大学; 2010

严亚妮；基于本体的电信产品信息融合服务框架的研究与实践[D];北京邮电大学; 2008

中文硕论文全文

陈琦；高性能计算中并行文件系统可扩展元数据服务研究[D];华中科技大学; 2013

姚小乐；在新加坡框架下对元数据服务的研究[D];华东师范大学2010

杨金英；科技资源元数据的注册与使用[D];石家庄铁道学院2009

徐昕；基于元数据的农田信息存储，管理与共享研究[D];河南农业大学2011

刘文波；水土保持元数据及关键技术研究[D];北京林业大学2012

吴斌；基于元数据的生态数据管理和信息共享[D]；中南林业科技大学; 2008

李志国；基于J2EE的元数据注册管理系统的设计与实现[D];北京交通大学2011

王文清；基于OAI-PMH协议的元数据注册管理系统的设计与实现[D];北京交通大学2013

袁俊超； G / S模式下分布式空间数据服务器组元数据的组织与管理[D]；成都理工大学2010

詹立群；基于元数据的气象科学数据共享平台的设计与实现［D］；电子科技大学2010

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-204441-1.html