NFSoverLustre性能评估和分析

第33卷，第33卷，第10期，第10期计算机工程文章编号: 1000-3428（2007）10-0274-03文档标识码: A 2007年5月2007年5月CLC编号: TP393·开发研究与设计技术·基于NFS的光泽性能评估与分析张媛，卢则新，刘亚平（国防科学技术大学计算机学院，长沙410073）摘要: 传统的网络文件系统难以满足高性能计算系统的I / O要求，基于对象存储的全局并行文件系统Lustre可以有效解决传统文件系统的可伸缩性，可用性和性能问题. 本文介绍Lustre文件系统的结构和优点，在Lustre上对NFS进行性能测试，并将测试结果与Lustre文件系统，NFS网络文件系统和本地磁盘Ext3文件系统的性能进行比较. 提出了性能差异的原因，并提出了可行的解决方案. 关键字: NFS；文件系统; Lustre上NFS的性能评估与分析张媛，卢泽新，刘亚平（国防科学技术大学计算机学院，长沙410073）[摘要]传统的网络文件系统不能满足高性能计算系统的需求，但是对象全局的并行文件系统——Lustre可以解决传统文件系统在可伸缩性，可用性和性能方面的问题. 本文介绍了基于对象的文件系统-Lustre的体系结构和优点. 它对Lustre进行NFS测试，并将其结果与Lustre，NFS和Ext3进行比较. 指出了产生差异的原因，并给出了可行的方法. 【关键词】Lustre； NFS；文件系统;性能随着计算机及相关技术的飞速发展以及计算机应用程序的日益普及，处于计算领域最高端的高性能计算机已成为本世纪IT领域人们的制高点.

目前，高性能计算机已经从科学计算和工程计算发展到商业应用和网络信息服务. 因此，高性能计算机的发展也将面临更多挑战. 网络是高性能计算机的发展趋势. 在联网应用中，不仅需要高计算能力，而且对存储管理也有很高的要求. 传统的文件系统很难满足高性能计算的I / O要求. 基于对象的基于存储的全局并行文件系统依靠其在高性能计算机存储管理中的可伸缩性，可用性和性能方面的许多优势. 该系统的设计非常流行，并且Lustre文件系统就是一个典型的例子. 在高性能计算机网络的研究过程中，如何有机地基于对象存储和网络服务来部署Lustre文件系统已成为当前的研究热点之一. 它可以提高元数据的性能，同时为系统增加更多OSD，并增加系统的存储容量. 并发数据访问对象存储体系结构定义了新的，更智能的磁盘接口OSD. OSD是连接到网络的设备. 它包含磁盘或磁带之类的存储介质，并且足够智能以管理本地存储的数据. 计算节点直接与OSD通信并访问其存储的数据. 由于OSD是智能的，因此不需要文件服务器的干预.

如果文件系统的数据分布在多个OSD上，则总I / O速率和数据吞吐速率将线性增加. 对于大多数Linux群集应用程序而言，连续的I / O聚合带宽和吞吐速率对于大量计算节点而言非常重要. 当前难以用其他存储结构来实项目的特征: 国家“ 973”计划资助项目（2003CB3148020）作者简介: 张媛（1982－），女，硕士，主要研究方向: 网络体系结构，高速网络；卢泽新，研究员；刘亚平，副研究员2006-05-25电子邮件: zhangyuan820111@126.com1光泽对象存储文件系统1.1对象存储文件系统的关键技术传统存储结构中的元数据服务器通常提供2个主要功能: （1）提供用于计算节点用于存储数据，文件名列表和目录结构的逻辑视图（虚拟文件系统，VFS）.

（2）组织物理存储介质（inode层）的数据分发. 对象存储结构[1]将存储的数据的逻辑视图与物理视图分开，并分配负载以避免元数据服务器（例如NAS系统）引起的瓶颈. 元数据的VFS部分通常占元数据服务器负载的10％，其余90％的工作（inode部分）是在存储媒体块数据的物理分布上完成的. 在对象存储结构中，将索引节点工作分配到每个基于对象的智能存储设备（OSD）. 每个OSD都负责管理数据的分发和检索，因此90％的元数据管理工作被分配给了智能存储设备，从而提高了系统元数据管理的性能. 另外，分布式元数据管理-274- -274-统一共享存储集群文件系统的设计思想消除了传统文件系统的可伸缩性，可用性和性能问题[3]. Lustre对象存储文件系统由三个主要部分组成: 客户端，存储服务器（对象存储目标lustre并行文件系统，OST）和元数据服务器（MDS）. Lustre客户端运行Lustre文件系统，该文件系统与OST交互以进行文件数据I / O，并与MDS进行命名空间操作. 基本结构如图1所示.

Lustre元数据服务器MDS（活动）Lustre客户端Lustre客户端Lustre客户端Lustre客户端Lustre客户端OST QSW网络MDS（故障转移）OST OST表2硬件配置node1 / node2服务器名称CPU存储器容量硬盘类型服务器名称node3 CPU存储器容量硬盘类型网络千兆以太网浪潮迎新NF130英特尔奔腾4 2.66GHz 512MB IDE浪潮迎新NF180英特尔至强MP 2.4GHz 512MB Ultra 320 SCSI具有磁盘存储阵列的Linux对象存储服务器其中，测试工具bonnie ++-1.03a针对at是为具有较少并发文件访问和相对较大的单个文件的应用程序设计的. 2.2阻止读写带宽测试在测试中，始终将node1用作实际客户端，将node2用作读写存储设备lustre并行文件系统，并通过在单个客户端上运行单个进程进行测试. 如图2所示，在测试中部署了Luster文件系统，NFS网络文件系统和基于Luster的NFS的测试环境.

节点1节点2OSTOST千兆以太网OST Linux对象存储服务器Lustre MDS节点1 / Client Lustre OST节点2OST图1 Lustre的基本结构Lustre是透明的全局文件系统，客户端可以透明地访问群集文件系统而无需了解实际情况数据的存储位置. 客户端通过网络读取服务器上的数据，存储服务器负责实际的文件系统读/写操作以及存储设备的连接，元数据服务器负责文件系统的目录结构，文件权限和文件的扩展属性，以及整个文件系统的维护. 数据一致性和对客户请求的响应. Lustre将文件视为元数据服务器定位的对象. 元数据服务器将实际文件I / O请求定向到存储服务器. 存储服务器管理基于对象的磁盘组上的物理存储. 高速网络和硬盘技术的发展为集群文件系统的扩展提供了技术保障. 由于元数据和存储数据的分离，它可以完全分离计算和存储资源，因此客户端计算机可以专注于用户和应用程序请求；存储服务器和元数据服务器专注于读取数据，传输数据和写入数据. 存储服务器端的数据备份和存储配置以及存储服务器扩展之类的操作不会影响客户端，并且存储服务器和元数据服务器都不会成为性能瓶颈[2].

Lustre的全局名称空间为文件系统的所有客户端提供了有效的全局唯一目录树，并阻止了数据，然后将数据分发到每个存储服务器，从而提供了“比传统SAN更多的”“块共享”是一种更灵活的共享访问方法[4]. 全局目录树消除了客户端上的配置信息，并在更新配置信息时保持有效. NFS客户端节点3NFS服务器NFS服务器光泽MDS / Clientnode 1node 2NFS ClientLustre OST图2测试部署为了消除文件系统缓存策略对系统性能的影响，每个客户端读写文件的长度在每个块中进行读写test大于节点内存大小的两倍，即2 048MB，4 096MB，8192MB. 在硬盘的基准性能测试中，使用Ext3本地文件系统，获得的平均值为: 块写入带宽为43 705KBps，块读取带宽为47 884KBps. 由于千兆网络的通信带宽超过100MBps，并且本地硬盘只能提供43MBps〜47MBps的数据传输速率，因此可以认为测量数据的差异可以真正反映文件系统的性能. [5]. 测试的读取/写入带宽结果如图3和图4所示. 水平轴表示测试文件的大小，垂直轴表示读取/写入带宽（KBps）.

55 000 50 000 45 000 40 000 35 000 30 000 25 000 20 000 15 000 10000 5 000 02.1测试环境表1和表2中显示了测试期间的软件和硬件配置信息. 表1 Lustre版本操作系统测试工具lustre-1.4.5 Red Hat Enterprise Linux AS3 2.4.21-4 bonnie ++-1.03a读/写带宽/ KBps2测试和分析24 File / GB8ext3 nfslustre nfs over luster图3块模式读取带宽-275--275-45 000 40 000 35 000 30 000 25 000 20 000 15 000 10000 5 000 02 ext3 nfs4文件/ lustre8上的GB光泽nfs图4连接到高速Intranet，机架的块写入带宽建立了外部网络和内部Lustre世界. 图5使用分层存储结构来显示NAS网关，Lustre网关和不带网关的专用Luster文件系统的存储结构.

提出NAS网关以有效地结合NAS和SAN的优点，并提出一种更经济的方式来使用网络中的存储设备并消除“存储岛”现象. 本文提出的Luster网关是针对具有Luster文件系统的高性能计算机可以更好地提供网络服务. 尽管这两个目的不同，但是需要实现的基本功能是将块级数据转换为文件级数据. 网络结构如图6所示. 从实验结果可以看出，基于Lustre的NFS带来了非常严重的性能损失，该损失大大低于Lustre和NFS网络文件系统的读/写带宽. 对于多个客户端和多个进程，情况更为严重. 明显. 分析其原因，其根本原因是Lustre文件系统和NFS网络文件系统的固有机制不同. Lustre文件系统是一个对象存储文件系统. 尽管从计算节点的角度来看，它对存储设备的访问是在与NFS相同的单元中进行的，但实际上，Lustre文件系统的访问过程是阻止设备. 对于操作，将NFS安装在Luster文件系统上时，它带来了重新集成文件以及执行存储和转发的过程. 此过程经历了2个文件系统操作，并且还带来了很多开销.

为了掌握整个过程中消息的存储和转发过程，测试中使用了集线器和侦听工具Wild Packets Ether Peek NX. 在NFS over Luster测试环境下，TCP / IP协议族在小文件读写过程中始终对消息进行监视. TCP / IP协议家族的数据包为分析提供了基础. 在监视过程中，由NFS客户端访问的文件包将集成在Lustre客户端中，然后通过NFS服务器转发到外部. 在此过程中，文件再次被分包，并在被TCP / IP协议套件再次封装之后，通过NFS网络文件传输协议传输到客户端. 此存储转发过程会导致性能下降. 2.3改进方案分层存储结构如图5所示（1. NAS网关； 2. Lustre网关； 3. 不带网关的Lutre）. 应用程序读/写带宽/ KBps客户端文件I / O块I / O MDS IP网络NFS光泽文件系统OST服务器网关光泽客户端光泽图6网络结构光泽网关的工作原理是: 网关将IP网络连接到Intranet在一起，它使用户能够通过访问网关来访问Intranet上对象存储设备中的文件，并且要求网关操作的整个过程对用户都是透明的.

操作流程如下: （1）外部客户端通过网关请求文件数据； （2）网关转换客户请求，并通过元数据服务器MDS通过Lustr文件系统将请求发送给对象存储设备； （3）对象存储设备取出块数据并将数据返回网关. （4）网关将块数据转换为文件数据，并转发给外部客户端； （5）外部客户端通过网关获取请求文件. 本文还可以在网关处为元数据信息建立大容量缓存，并通过采用快速有效的预取策略来实现对存储设备的快速访问，从而增加文件系统的传输带宽. 本文在Lustre，Lustre文件系统，NFS网络文件系统和本地磁盘Ext3文件系统上测试了NFS，并比较和分析了测试结果，给出了性能差异的原因，并提出了相应的解决方案. 在以后的工作中，我们将进一步分析和实现所提出的想法. 参考1 SNIA / T10. OSD标准草案[EB / OL]. ftp://ftp.t10.org/t10/d筏/ osd /. 2 Braam P J.光泽存储架构[EB / OL]. 2004年. lustre.org/docs/lustre.pdf. 3 Schwan P. Lustre: 为1 000个节点ClusTers构建文件系统[EB / OL]. 2004. /docs/ols2003.pdf.2004. 4 Braam PJ，Callahan MJ. Lustre: 适用于Linux的SAN文件系统.pdf [EB / OL]. 5曹立强，熊瑾. 全局文件系统性能评估与分析[J]. 高性能计算技术，2003，（6）: 2-3. 文件/记录层主机LAN NAS网关存储网络主机Host3结束语Luster Gateway块层Lustre NALDisk arrayOSTMDS网关的原理在专用Lustre文件系统上形成网关. 直接访问Intranet上的对象存储设备. 网关将IP网络—276 —

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-224971-1.html