大容量存储系统中并行文件系统的测试和优化

海量存储系统（MassStorage System）是为存储海量数据而开发的存储系统. 它的本质特征是存储系统的可伸缩性，即它可以扩展系统容量和性能而不会增加系统管理的复杂性. 并行文件系统（Parallel File System）由一组节点（Node）组成，这组节点通过相互通信和协作，以更快的速度完成的计算任务. 并行文件系统是构建高性能海量存储系统的基石，因此无论是在高性能计算还是云存储中都有重要的研究意义，因此近年来受到了广泛的关注和研究. 并行文件系统的测试通常包括一致性测试，功能测试，压力测试，性能测试和推测性测试，其中性能测试是重点. 并行文件系统性能测试大约有两个指标. 第一个是吞吐量，它衡量大型文件的读写能力. 另一个是IOPS，它测量小文件的读写功能. 优化并行文件系统性能的常见策略包括数据预取，数据缓存，合并小的顺序I / O和条带化. 缓存是指使用缓冲区保存最近访问的文件的内容，以提高访问文件的效率. 预取指的是在实际使用内存时预先将数据读入内存，从而提高访问效率. 组合小的顺序I / O是将几个小文件的操作聚合为一个大文件的操作，从而减少了磁盘操作的数量.

条带化是将连续的II数据块划分为相同大小的数据块，并将每条数据写入阵列中的不同磁盘. 本文主要研究并行文件系统的测试方法和性能优化策略. 研究内容主要包括: 研究并行文件系统性能测试的标准和方法并行文件系统，学习提高文件系统性能的测试方法，并以GlusterFS为例验证各种优化策略的效果. 实验表明，GlusterFS中的缓存策略将性能提高了10MB / s以上，并且预取策略的两种方法一起提供了大约15MB / s的读取性能. 关键字: 大容量存储，并行文件系统，预取，缓存，条带化III ParallelFile System MassStorage System摘要大容量存储系统（MSS）存储质量数据. 系统可以水平扩展，MSScan可以扩展两个性能系统，而无需增加系统管理. 并行文件系统的计算任务更加迅速并行文件系统扮演着高性能的大容量存储系统的角色，因此高性能云存储具有重要意义，已受到广泛的广泛研究. 测试并行文件系统的几类: 一致性，功能，压力，性能性能测试并行文件系统的每秒输入/输出操作（IOPS），大文件读取写入，而小文件读取写入速度. 并行文件系统使用的常见优化性能策略涉及数据预取，缓存，后写，条带化文件系统是指最近访问过的文件，文件的缓存. 数据在实际使用数据之前预取读取数据存储器. 写后聚合小文件大文件磁盘操作. 分割分段逻辑顺序的数据，分段分段不同的物理存储设备. 论文中，我们研究了并行文件系统的测试方法，研究包括: 并行文件系统测试标准，提高文件系统性能的测试方法，采用GlusterFS的优化策略结果方法，cachescheme GlusterFS提高了10MB / s的读取速度，而prefetchscheme GlusterFS提高了15MB / s的读取速度. 关键字: 大容量存储，并行文件系统，预取，缓存，条带化上海交通大学硕论文第1章简介目录应用上海交通大学工学硕论文论文提交上海交通大学硕III第1章简介1.1研究背景1.1.1应用要求1.1.2存储系统结构1.2分布式文件系统1.2.1分布式文件系统的分类1.2.2典型的分布式文件系统1.3研究目标121.4论文的主要工作131.5论文结构13第2章基准测试152.1测试指标152.2测试基准162.2. 1查看基准172.2.2重播跟踪192.2.3微型基准202.3本章摘要21第3章优化策略223.1 GLUSTERFS 223.1.1转换器233.1.2群集模式253.2数据预取优化技术273.2.1 273.2.2统计预取273.2. 3预读293.3缓存优化技术323.3.1缓存32上海交通大学硕论文第1章引言3.3.2 IO缓存323.4合并顺序小型I / O优化技术353.4.1合并方便的小型I / O 353.4.2写后置353.5条带优化技术373.5.1条带373.5.2 Stripe Translator 383.6多线程优化技术393.6.1线程393.6.2 Io线程413.7 SSD优化技术433.6.2优缺点443.7章节摘要45第四章实验与分析464.1实验环境464.2实验方案464.2.1测试程序464.2. 2测试结果与分析474.3本章摘要48第5章摘要与展望495.1论文摘要495.2展望49参考文献51致谢55硕士期间的科学研究和学术论文56科研项目56学术论文56上海交通大学硕论文第一章绪论PVFS系统LUSTER集群体系结构LUSTER文件系统m架构PANASAS文件系统总体结构GPFS文件系统总体结构GOOGLEFS文件系统结构GLUSTERFS框架和模块化GLUSTERFS模块化堆栈设计24图10 SP_READDIR函数的一般流程28图11 SP_READDIR_CBK函数的一般流程29图12 READ-AHEAD常规流程31图13元数据缓存的33图14数据缓存的34图15 WB_QUEUE流程36图16 WB_PROCESS_QUEUE流程37图17条纹式写入过程STRIPE_WRITEV 39图18在分发者/工作者模型中进行组织多线程服务器40图19 __IOT_WORKERS_SCALE流程41图20 IOT_WORKER流程42图21有和没有IO-CACHE的顺序读写性能比较47图22有和没有STAT-PREFETCH 48的顺序读写性能比较图23有和没有READ-AHEAD顺序读写性能比较48香格里拉爱交通大学硕论文第一章导言46上海交通大学硕论文第一章导言第一章导言1.1研究背景计算机网络技术，计算机软硬件技术和计算机应用技术的迅猛发展信息技术经历了三个主要阶段开发.

第一阶段是以处理器为核心的阶段，促进计算机的普及和应用. 第二阶段是传输技术为核心的阶段，它促进了计算机网络的使用和普及，使数字信息的风靡世界，从而导致了数字信息的爆炸性增长. 第三阶段关注存储，关注存储系统的性能，可靠性，可用性，可伸缩性，管理，安全性和能耗. 因此，数据存储技术已经成为研究的重点. 1.1.1应用需求应用需求是技术发展的根本动力. 数据存储系统和技术的发展自然也不例外，存储系统的发展也不例外，主要体现在以下几个方面: 一是容量需求. 人类社会已进入信息爆炸时代，信息量呈指数增长. 社会生产和生活的实际需求对存储系统提出了极高的容量要求. 早在1998年的图灵奖获得者Jim Gray博士就预测并总结了一条经验法则: 将来每18个月生成的数据总量等于以前的数据总量. 根据IDC的估计，2011年全球数据产量将比上一年增长47％，达到1.8 ZB（1 ZB = 1024 TB），相当于每个美国人每分钟写3条Twitter消息，总计2697.6万年. 由于电子邮件，博客并行文件系统，视频

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-177280-1.html