并行文件系统并行文件系统

关于存储堆栈的基础: 存储堆栈包含完整的服务器，网络部分和服务器虚拟化部分.

目标: 与直接使用并行文件系统相比，可以提高性能和效率. 同时，可以减少应用程序端所需的优化.

–》使用

–》高级I / O库: 将应用程序抽象映射到存储抽象；使数据提供更加方便. HDF5，netCDF〜

–》中间件（MPI）组织多进程访问（MPI-IO）

–》 I / O重定向: 应用任务和存储系统，并集成未协调的IO

–》并行文件系统: 维护逻辑地址空间并提供有效的数据访问.

–》 I / O硬件部分

这次的重点是并行文件系统〜

云存储堆栈:

–》云应用程序: 基于服务

–》负载平衡: 从前端进行负载平衡

–》中间件: 数据流编程模型改进: Map Reduce

–》对象存储: 在数据中心中进行块复制.

–》数据中心: 许多服务器和磁盘，共享或私有

然后，我们将详细描述文件系统部分.

本地文件系统: 将用户文件映射到数据/属性. 为了优化单个设备，例如: FFS，LFS，UFS，Ext2 / 3/4，ZFS，NTFS. .

并行文件系统: 能够支持多个线程同时访问，并且可以将多个文件和目录同时映射到许多设备. 并行文件系统将系统表示为单个逻辑地址单元；将文件分割（分割）到不同的磁盘；它具有更好的容错能力. 在存储区域中，要考虑的问题是: 块分配；元数据管理；数据可靠性和纠错. 此外，还有缓存一致性；高可用性;弹性存储；性能.

分布式文件系统: 数据虚拟化和负载平衡. 协调（锁定和同步）: 在用户之间共享文件；在服务器之间共享物理存储介质. 容错能力: 磁盘错误；电源（检测）失败;软件错误；网络错误；用户错误.

为了实现上述功能，进行了以下操作:

NFS（AFS，通过简单的用户/服务器协议导出文件系统）；集群NAS（解决扩展问题，提高容错能力）； SAN FS（导出文件系统并增加并发协议）；对象FS（通过抽象化数据容器重新考虑协议）.

NAS的全名是网络附加存储； SAN: 存储区域网络. NAS / SAN的区别在于: NAS是文件级存储访问； SAN是基于块的存储访问. SAN更加便于容量扩展； NAS: 其主要功能是集成存储设备，网络接口和以太网技术，并通过以太网直接访问数据. 它可以快速达到部门级别的存储容量要求和文件传输要求. NAS网络存储具有更高的独立性和良好的兼容性. 它不仅具有自己的操作系统，而且无需修改即可在Unix / Windows NT混合LAN中使用.

集群NAS: 重定向. 将请求归档到相应的存储介质（远程存储）. 这里本地存储和用户以前采用了无状态模式，在这种模式下，避免了锁定和缓存协议. 这样可以大大减少本地存储系统上的负载.

集群NAS: 集群后端. 在远程存储系统中，使用缓存机制，使用条带化增加带宽，并使用RAID提供容错功能.

SAN共享磁盘文件系统: 要将本地文件系统扩展到整个共享磁盘，需要用于元数据和数据访问的锁定协议. 对称性: 每个文件客户端中都有一个元数据服务；性别: 需要对应一个特殊的元数据服务器. 工业用途，例如: GFS（Redhat），MPFSi（EMC），VMFS（Vmware）高性能计算机并行文件系统，GPFS（IBM）等.

％2F978-1-4471-3042-0_11

协调协议: 协调协议. 用于处理锁同步等. NFSv2 / 3文件中没有锁定协议. 锁定协议是从NLM协议派生的. 元数据服务器（所有文件的元数据都位于一台服务器中，只能在其中进行修改，并且布局将在更新后发送给客户端）；分布式锁管理器（DLM）: 使用块的人拥有其锁的其他想要使用它的客户端将被阻止. 在某些特殊情况下，存在锁定协议，例如缓存一致性；字节范围，数据范围锁定.

在DLM中，这里需要进一步的解释. 通常，共享磁盘数据时可以使用此分布式锁管理器. 锁定共享数据中的索引节点，分配信息，块表等. 如果有坏客户，将会造成巨大的损失.

基于对象的存储集群系统: （OSD，对象存储设备）核心是将数据路径（数据读取或写入）和控制路径（元数据）分开，并且基于对象存储设备（Object-基于OSD的存储设备）构建一个存储系统，每个对象存储设备都具有一定的智能性，并可以自动管理其上的数据分发. 对象存储既具有SAN高速直接访问磁盘的特性，又具有NAS的分布式共享特性.

因此，在网络存储方面，有SAN，NAS，OSD三种，当然DAS在这里没有说. 可以看出，OSD是最佳选择，可伸缩性和性能是SAN和NAS优势的结合. 在网络存储系统中，必须考虑数据的一致性，缓存等，因此需要达成协调协议.

GPFS，PVFS，PanF和Lustre在并行文件系统产品中更为常见. 它们都使用类似于OSD的存储集群管理，但是在元数据管理，容错机制，功能和“交钥匙”布局方面有很大的不同.

提供对存储节点的基于块的访问，使用DLM进行协调，并通过SAN存储网络与数据进行交互.

％BD％E9％C9％DC.pdf

用户管理元数据，无元数据缓存，易于管理；类似于OSD API的数据访问；命名空间一致性；缺乏容错机制；单一管理节点，很容易成为管理节点的系统瓶颈. 主要在HPC应用程序中.

参考:

CMU NASD团队的研发工作恰好是由我的老师进行的. 整个系统提供基于Obejct RAID的容错机制. 支持本机Linux文件接口，并且还在硬件部分集成了电源管理/ UPS. 整个存储集群分为两种类型的节点: 存储节点和管理节点，比率通常为10: 1，可以设置比率. 存储节点实现对象存储. 管理节点包括四个部分: PanFS实现分布式元数据管理. SysMgr通过实现Paxos选举算法，管理所有节点来提供高度可用的群集管理. 同时，PanFS提供了NFS / CIFS导出接口. PanFS体系结构也是通常的三个部分，即数据服务器，元数据服务器和客户端. 对应于数据服务器的StorageNode，以及对应于Manage节点中PanFS的MetaFS服务器高性能计算机并行文件系统，在Manage Node中提供SysMgr的管理节点. 首先看一下对象存储. 所谓的对象是数据和属性的容器. 对象提供两层名称空间（分区ID /对象ID）. 对象的接口提供了基本的对象操作: 例如创建/删除对象，基于字节的读写对象. 存储节点使用FreeBSD操作系统，并使用OSDFS，OSDFS是由其自己编写的特殊本地文件系统. 数据通过RAID1或RAID5容错. 小文件的镜像和大文件的RAID5文件使用条带通过对多个对象进行条带化来实现冗余和高带宽. 文件的元数据通过对象的属性保存. 整个文件系统的元数据存储在对象的属性中. SysMgr用于管理整个机器的配置，错误检测. 其高可用性基于客户端驱动的基于文件的RAID客户端，以实现基于文件的RAID.

参考:

此系统更适合HPC应用程序.

在PanFS的基础上进行了修改，更适合RPC网络协议的用户.

从ClusterFS-> SUN-> Oracle

以上设计可以总结如下:

应用程序在其字段中使用适当的模型，而I / O系统使用简单的数据模型. 基于树的分层容器；文件: 位流；目录: 其他容器的集合.

MPI-IO专门用于多线程IO. 数据模型与Posix相同，并且文件由位流表示. 但是，此IO将执行IO池，非连续IO操作（不是同一文件），非阻塞IO，并且是为较低级别设计的. 因为大多数IO访问是对多个文件的随机访问，所以如果直接运行它，效率会很低. 因此，可以说非连续IO变为连续IO. 这样可以大大增加带宽. 连续意味着一个是指进程中文件的连续性，另一个是指存储物理空间块之间的连续性. 因此，我们最需要的是它们同时是连续的，因此在这里我们将对访问顺序进行一些调整. 有ROMIO，MPI-IO / IBM GPFS，NEC的MPI.

参考链接:

ROMIO MPI-IO:

POSIX I / O扩展:

LLNL I / O测试（IOR，fdtree，mdtest）:

并行I / O基准测试联盟（noncontig，mpi-tile-io，mpi-md-test）:

FLASH I / O基准: http://flash.uchicago.edu/~jbgallag/io_bench/（原始版本）

b_eff_io测试:

mpiBLAST:

HPC挑战: ）

SPEC HPC2002:

NAS并行基准测试

为什么文件系统中未提及GFS和HDFS？我将在下一节中讨论它.

Snail_Walker

原文596赞誉619次访问135万+

关注他的留言板

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-204433-1.html