网络文件分布式存储的设计与实现

“山东大学” 2014

王俊军

[摘要]: 随着信息网络和Internet技术的飞速发展，人们的生活越来越聪明. 每天都会有大量的Internet信息. 个人数据正在爆炸. 数据存储提出了要求，传统存储技术缺乏开放性，建设成本高，可扩展性差等问题难以满足存储需求，因此云计算的兴起为云存储的发展带来了机遇. 也就是说，您可以将数据移动到云存储中分布式存储网络，智能终端不需要大量的存储空间. 用户可以随时随地通过Internet登录到个人云存储空间，以访问个人数据资源. 可以说，云存储的发展正在颠覆现有的网络存储架构. 本文针对多媒体瘦客户端用户数据存储需求的场景，提出了一种网络文件分布式存储方案，设计并实现了基于MooseFS的分布式网络文件存储系统，并建立了动态​​复制机制和节点容量. 感知机制的文件分布式存储模型为最终用户提供了安全透明的分布式文件存储. 首先，根据云存储的需求，设计B / S架构的网络磁盘应用程序为云中的每个用户开放一个私有存储空间，用户可以执行文件上传，下载等管理操作，从而将用户的存储空间存储到云中，并为用户提供可视化门户以访问云空间. 其次，为了满足用户数据的存储需求并提高存储的可靠性，我们设法分配了网络磁盘文件的存储空间. 第一种选择是使用开源分布式文件系统. 本文使用MooseFS，即通过构建MooseFS分布式集群并将网络磁盘存储空间安装到系统上来实现文件的透明分布式存储. 第二个是设计和构建专门用于网络磁盘上小文件的分布式存储的模型，使用JNotify进行实时目录监视，并设计动态复制机制，使用群集算法设置要复制的文件数. 与用户使用频率呈正相关，以平衡存储可靠性和资源利用率；设计一种节点容量感知机制，并使用改进的一致性哈希算法将节点资源可用率和实际负载率设置为正相关，以提高节点存储空间的利用率. 同时，为了实现模型数据监控的可视化，使用MVC模型设计了一个简单的后台管理界面，以实现对用户登录时间，份数，集群存储容量等的实时查看. 促进模型的管理. 本文针对多媒体瘦客户机和其他设备的有限存储空间与用户数据存储需求之间的矛盾. 通过设计网络磁盘并将其与分布式文件系统结合，可以有效地实现网络文件的分布式存储. 分布式存储模型和测试数据表明，该模型的数据分发策略具有更好的节点容量感知能力，并提高了实际资源利用率. 本文提出的分布式存储解决方案为用户的数据存储带来了极大的方便，对于提高生活质量和满足信息需求具有重要意义.

[学位授予单位]: 山东大学

[学位]: 硕士

[学位奖]: 2014

[分类号]: TP333

下载更多类似文档的全文

CAJ全文下载

（如何获取全文？欢迎使用: 购买HowNet充值卡，充值，咨询）

CAJViewer阅读器支持CAJ，PDF文件格式

[参考文献]

中文期刊全文

艾菊美，陆玲；海量数据存储与高速查询方案的设计与研究[J]；中国电机工程学报计算机辅助工程； 2003-04

曹宁；吴忠海刘洪志张启勋;; HDFS下载效率的优化[J]；中国电机工程学报计算机应用; 2010 08期

周立；郑涛;;基于DHT的分布式网络负载均衡研究[J]；中国电机工程学报计算机工程与设计； 2012-01-01

[共同引用的文献]

中文期刊全文

黄新元；王海“数字林业”及其技术与发展[J];北京林业大学学报2006-06

凯华东；田琦;;基于MapReduce聚类的加权公平队列调度算法研究[J]；中国技术大学学报计算机知识与技术； 2011-09期

郭蓓蕾；张承光;杨天荣;;特殊日志管理[J]；中国电机工程学报工程地球物理学杂志； 2008-06

陈军；陈小伟基于Hadoop的云计算系统的构建[J]；中国电机工程学报贵州大学学报（自然科学版）； 2011年第03版

尚伟；张瑞峰云计算在化工企业中的应用［Ｊ］；中国管理信息化； 2014年03月

侯青；徐嘉熙吉莉;;基于Hadoop的校园教育资源管理系统[J]；中国技术大学学报计算机知识与技术； 2014年第01期

孙亚琪;; “虚拟”时代，展现“云”图-论虚拟化与云计算的关系与应用[J]；中国电机工程学报计算机CD软件和应用程序； 2014-04

赵翔；枫华韩立凯;;云计算数据安全问题[J];电子世界； 2014年第02版

袁守正；丁福强裴国才;;云计算环境下业务系统健康模型研究[J]；中国技术大学学报电信技术； 2014-03-03

小玲；王若洲;李伟;;云平台助力智能社区建设[J];光通信研究； 2014年03月

中国重要会议论文全文

杨路浩；范文庆;黄伟基于分布式网络的负载均衡和路径选择算法[A];虚拟运营和云计算-第十八届全国青年传播学术年会（第2部分）[C]； 2013

陈瑜；王书伟王冠华水利工程建设管理云计算平台的研究与实践[A];中国水电工程学会信息化委员会2013年学术交流会议论文及水电控制设备委员会论文集[C]； 2013

陈瑜；王书伟王冠华水利工程建设管理云计算平台的研究与实践[A];中国水利学会2013年年会论文集-S4水利信息建设与管理[C]; 2013年

中国博论文全文

卢志英；分布式森林资源共享管理系统的设计与研究[D];南京林业大学2012

朱苏霞；多核处理器确定性重复的内存竞争记录机制研究[D];哈尔滨工业大学2013

张泰；结构化P2P网络关键技术研究[D];电子科技大学2013

于春雷； ADS喷油器Ⅱ强流质子RFQ控制系统研究[D];中国科学院院（现代物理研究所）； 2014

毛华健；云环境下移动文件存储和时空数据分析关键技术研究[D];国防科学技术大学； 2013

刘光辉；高效处理器容错技术的研究与实现[D];国防科学技术大学； 2013

中文硕论文全文

侯绍新;网络流量数据处理研究［D］；北京邮电大学; 2011

王先伟；基于Hadoop的外观专利图像检索系统的研究与实现[D]；广东工业大学2011

徐峰；移动公司云计算平台原型建设与测试[D]；中南大学2010

陈朝群；分布式作战指挥仿真系统的设计与实现[D];华中科技大学; 2011

吴卓辉；基于实时的飞机飞行安全状态实时监测软件研究[D];南京航空航天大学2006

冯谢；基于Oracle的日志的设计与研究[D];吉林大学2006

王东来；基于JSP的日志数据网络查询系统的设计与实现[D];吉林大学2006

王磊； Agilor实时在红枫湖大桥监测中的应用研究[D];贵州大学2008

张曦；海量数据存储模式研究[D];广东工业大学2012

付庆武； MapReduce作业的数据感知调度策略研究[D];吉林大学2012

【二级参考文献】

中文期刊全文

于云祥；嵌入式Linux系统中Overlay文件系统的实现[J]；北京科技大学学报微电子学与计算机； 2005年第10张

[相似文献]

中文期刊全文

魏云刚；张春月孙波邱谦詹乃新;车立美基于资源分类信息树的教育资源元数据分布式存储[J];现代教育技术； 2010-04

王辉；沉家双陈东阳邓学清;;高性能大面积遥感影像管理模型[J]；中国农业大学学报（自然科学版）海洋测绘； 2006-03

郑胜；郝浩浩;;基于伯努利大数定律的数据分发算法[J];计算机工程; 2009年19期

孟庆伟;;云计算技术及其电信应用[J]；中国电机工程学报电信快递； 2010-07期

卢益阳;;分布式存储系统调查[J]；中国电机工程学报企业技术与发展； 2011年第16期

刘光涛；舒继武郑为民;;可扩展的分布式邮件系统的研究与实现[J]；中国电机工程学报小型微机系统； 2005年第12号

Wang Datao；蒋月秋;;一种适用于集群的高可用性存储模型研究[J]；中国电机工程学报沉阳科技大学学报2007-0202

邢继元；张义德;;计算机存储技术的发展现状与趋势[J]；中国电机工程学报科学技术协会论坛（本月下半月）； 2008年02月

赵英思；刘云BBS舆情系统的数据采集方法[J]；北京交通大学学报（自然科学版）电信快递； 2008-12期

高波；郭超珍丁善静；基于GML矢量层分割的空间数据分布式协同处理研究[J]；中国电机工程学报计算机应用； 2009-01-01

中国重要会议论文全文

程国；陈洛静宁赵亮左怀玉;;遥感影像的分层组织分布式存储管理方法[A];第25届中国学术会议论文集[C]; 2008

龚尚福；朱瑜；李占立;;大型综合数字图书馆解决方案[A]；第十四届全国煤矿自动化学术年会暨中国煤炭学会自动化委员会学术会议论文集[C]； 2004

江江；陈刚建立P2P之路的“分布式对等” Internet3.0 [A]；全面建设小康社会: 中国科学技术工作者的历史责任-中国科学院2003年年会论文集（第二部分）[C]； 2003

郭建中；李宏伟多尺度地理空间数据分布式存储与管理若干问题研究[A];地理空间信息技术及其应用-中国科学技术协会2002年年会论文集[C]; 2002年

张岩；刘新然徐慧斌;;基于虚拟计算环境的分布式存储架构[A]； 2009年全国计算机网络和通信会议论文集[C]； 2009

杜锡奇；王学健布尘;;动态数据神经网络建模技术[A]；交流的探索与创新-中国航空学会青年科学技术论坛论文集[C]; 2004

郭荣坤；高鹏义人工神经网络在测井储层评价中的应用[A]; １９９６年第十二届中国地球物理学会年会论文集［Ｃ］； 1996

李玉峰；张亚林赵强;;有限元计算框架PANDA中的并行机制[A]；中国计算力学大会'2010（CCCM2010）和第八届南方计算力学大会（SCCM8）的议事录[C]; 2010

何涛；黄元李爱波;;基于ADSP-TS201的雷达角点处理设计方法[A];第五届全国信号与智能信息处理与应用会议特刊（第一卷）[C]； 2011年

杨爱民；刘仁赵光华崔玉环基于MPI的并行GMRES（m）计算通信在集群系统中的研究与应用[A]; 2009年全国分布式开放式并行计算机会议论文集（第2部分）[C]； 2009

重要中国报纸全文

; [N];互联网世界； 2007

黄岩； [N];中国企业报； 2008

张家楼教育委员会，山东胶南杨卫春； [N];中国计算机教育新闻； 2006

李玫； [N];计算机世界； 2007

刘学雪； [N];计算机世界； 2007

记者周荣荣； [N];计算机世界； 2006

ZTE; [N];通信行业新闻； 2011

杨一凡分布式存储网络，王哲； [N];中国计算机报； 2002

; [N];互联网世界； 2006

记者周媛； [N];互联网世界； 2010

中国博论文全文

赵浩天；基于网络编码的分布式存储容错与容量扩展研究[D];中国科学技术大学； 2013

胡玉闯；基于网络编码的分布式存储容错机制研究[D];中国科学技术大学； 2010

杨磊；基于P2P结构的广域分布式存储相关技术研究[D];湖南大学2013

魏庆松；分布式存储技术研究[D]；电子科技大学2004

岳立群；基于分布式存储的虚拟地理环境关键技术研究［D］；信息工程大学2011

江春茂；基于移动P2P的分布式存储与传输机制研究[D];哈尔滨工程大学2013

周旭；面向Internet的分布式存储技术研究[D]；电子科技大学2004

万武南；分布式安全存储系统擦除码技术研究[D];中国科学院院（成都计算机应用研究所）； 2006

侯孟书；基于P2P的分布式存储及相关技术研究[D]；电子科技大学2005

郭元波；容忍入侵的理论和方法及其应用研究[D];西安电子科技大学2005

中文硕论文全文

王俊军；网络文件分布式存储的设计与实现[D];山东大学2014

曾铁刚；基于路由器的分布式存储技术研究[D];复旦大学2012

陈茵；基于网络编码的分布式存储技术研究[D];西安电子科技大学2011

张岩；虚拟计算环境中分布式存储系统的设计与实现[D];北京邮电大学; 2010

罗兰南；基于三层架构的分布式存储访问系统技术研究[D];电子科技大学2012

吕景龙；机会网络中的分布式存储机制研究[D];北京邮电大学; 2013

孙建良；分布式存储系统的可用性和一致性研究[D];华中科技大学; 2013

赵松南；海量数据分布式存储与安全保护研究[D];山东大学2014

杨志宇基于蝶形网络的P2P存储结构研究[D];湖南大学2012

刘刚；分布式存储网络中的数据完整性验证和修复[D]；上海交通大学2012

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-195122-1.html