云计算基础第12章以分布式文件系统为基础.pptx

第12章 以分布式文件系统为基础12.1 网络块设备12.2 HDFS12.3 GlusterFS12.4 NFS12.5 LVM和RAID12.6 LVM环境下的RAID12.1 网络块设备什么是网路块设备？网络块设备(Network Block Device)通常指的是一种用于访问非物理安装在本地计算机上，而在远程的储存设施的仪器节点。通常在一些类Unix的操作系统上提供。技术上讲，网络块设备由服务器、客户端以及连接两者的网络三部分构成。在设施节点工作的客户端上，一般由内核空间中的内核组件或驱动控制该仪器。而在服务器上，来自客户端的请求则显然由客户控件程序进行处置。当计算机试图访问网络块设备时，内核驱动会负责将转发请求发送到实际传输数据的服务器上，再由服务器负责将仪器数据转发给请求计算机。网络块设施及其推动GNBDGNBDGNBD是Global Network Block Device（全局网络块设备）的缩写。它是一种网络块设备的推动,其作用是借助TCP/IP实现将内存资源以设施文件即仪器访问入口的方式提供给远端GNBD客户端，使得客户端可像本地设备一样使用块设施资源。12.1 网络块设备NBD与NFS的区别NBD与传统的NFS不同，NFS将资源以文件系统的方法提供给用户使用，NBD却直接将资源以设施文件的形式共享出去。

NFS只是提供一个挂载点供客户端使用，客户端无法改变这个挂载点的分区格式，而NBD客户端可以依据自己的应该完全掌控如何对此设备进行规划使用。例如，GNBD服务器将/dev/sda3共享出去作为gnbd-server，那么连接到此资源的GNBD客户端就可把gnbd-server作为一个本地存储资源。NBD与NFS12.2 HDFS什么是HDFSHDFS是Hadoop Distributed File System（Hadoop分布式文件系统）的简称主流分布式文件系统 云计算，它是一种被设计成适合运行在通用软件上的分布式文件系统。HDFS是一个高容错性（fault-tolerant）的平台，在设计上可以部署到便宜的（low-cost）硬件上，能够提供高吞吐量（high-throughput）的数据访问，以及流式数据访问(streaming access)。HDFS的构架在结构设计上，HDFS采用的是一个主从结构（Master/Slaves。一个HDFS集群由一个名字节点（NameNode）和若干数据节点(DataNode)构成，名字节点是一个管理文件命名空间和调节客户端许可的主服务器，数据节点则负责管理对应节点的储存，通常一个节点一个机器。

HDFS概述12.2 HDFSHDFS概述12.3 GlusterFSGlusterFS简介GlusterFS是一种新型的纵向扩充网络互联存储文件系统（scale-out network-attached storage file system），具有超强的纵向扩充能力主流分布式文件系统 云计算，通过扩展无法支持数PB存储容量和处理数千客户端。目前在云计算、流媒体服务以及内容分发网络等方面有一定的应用。GlusterFS可以将借助以太网或者Infiniband RDMA互联的各色存储服务器聚合成一个大型的并行网络文件系统。GlusterFs采用了服务端和客户端分离的设计，服务端通常被推进为内存bricks，在每个服务端运行一个名为glusterfsd的守护进程来导出本地文件系统作为GlusterFS中的一个volume；客户端进程glusterfs通过TCP/IP，InfiniBand或者其他一些支持的协议与各个服务端通信。12.3 GlusterFSGlusterFS的特性1.具有线性可扩展性和高性能采用无元数据的设计，解除了对元数据服务器的需求，消除了单点故障和功耗瓶颈，实现了线性扩展。2.高可用性通过建立镜像或解耦的方法对文件进行手动复制或转储，确保数据总是可以访问，采用操作系统中主流的标准文件系统（如ZFS）进行传输，使得可以直接运用许多现有的标准软件进行操作。

3.弹性哈希算法通过弹性哈希算法在存储池中定位数据。4.弹性卷管理以逻辑卷的方式进行传输管理，逻辑卷可以从虚拟化的生物存储池中进行独立逻辑划分得到。5.全局统一命名空间通过使用全局统一的命名空间，对下层用户和应用屏蔽了底层的物理软件。12.3 GlusterFSGlusterFS的架构和工作流程12.4 NFSNFS简介NFS（Network File System）是由Sun公司开发并演进出来的一项用于在不同机器、不同操作系统之间借助网络进行分享的文件系统。NFS服务器也可以看成一个文件服务器，可以使个人计算机借助网路将远端的NFS服务器共享出来的档案挂载到本地系统中，在客户端看来使用NFS的远端文件好像是在使用本地文件一样。12.4 LVM和RAIDLVM简介LVM是逻辑盘卷管理（Logical Volume Manager）的简称，它是对磁盘分区进行管控的一种机制，LVM是构建在硬盘和分区之上的一个逻辑层，用来提升磁盘管理的灵活性。通过LVM可将若干个磁盘分区连接为一个整块的卷组（Volume Group），形成一个存储池。可以在卷组上随便创建逻辑卷（Logical Volumes），并进一步在逻辑卷上建立文件系统。

通过LVM可以便捷地调整存储卷的大小，并可以对磁盘传输按照组的方法进行命名、管理和分配，例如，按照使用功能进行定义—“development”和“sales”，而不是使用物理硬盘名—“sda”和“sdb”。当平台添加了新的磁盘时，通过LVM可以直接扩展文件系统跨越该磁盘，而不必将文件移动到新的磁盘上。12.4 LVM和RAIDRAID简介什么是RAIDRAID是冗余硬盘阵列（Redundant Array of Inexpensive Disks，RAID）的缩写。通常分为软件和硬件两种推动方法。硬件RAID是借助专门的RAID控制器和附件来处置RAID事务，不损耗原本系统的I/O，因此在功耗上较佳。从Linux 2.4内核起初，Linux开始提供工具RAID，不必购买廉价的软件RAID控制器和附件（一般中、高档服务器都提供这样的设施和热插拔硬盘），就能极大地提高Linux磁盘的I/O性能和可靠性。RAID的用处RAID将普通u盘组成一个磁盘阵列，在机箱写入数据时，RAID控制器把主机要读取的数据分解为多个数据块，然后并行写入硬盘阵列；主机调用数据时，RAID控制器并行加载分散在主存阵列中各个磁盘上的数据，把它们重新组合后提供给主机。

由于采取并行读写操作，从而提升了内存系统的转储程度。此外，RAID磁盘阵列更主要的功用是，可以采取镜像、奇偶校验等举措来提升平台的容错能力，保证数据的可靠性。12.4 LVM和RAIDRAID简介RAID的级别在Linux系统中，主要提供RAID 0、RAID 1、RAID 5这3种级别的RAID方法。RAID 0又称为Stripe或Striping，中文译为集带工作方式。它是将会存取的数据以条带状形式尽量平均分配到多个硬盘上，读写时多个硬盘同时进行读写，从而提升数据的读写速度。RAID 0的另一目的是获取更大的“单个”磁盘容量。RAID 1又称为Mirror或Mirroring，中文译为镜像模式。这种工作方式的出现完全是为了数据安全考量的，它是把客户写入内存的数据百分之百地手动复制到另外一个硬盘上或磁盘的不同地方（镜像）。当调用数据时，系统先从RAID 1的源盘读取数据，如果调用数据成功，则平台不去管备份盘上的数据；如果调用源盘数据失败，则平台自动转而加载备份盘上的数据，不会造成客户工作任务的中断。RAID 5是一种存储性能、数据安全和存储成本兼顾的储存解决方案，也是现在应用最广泛的RAID技术。

各块独立硬盘进行条带化分割，相同的条带区进行奇偶校验（异或运算），校验数据平均分布在每块硬盘上。以n块硬盘建立的RAID 5阵列可以有n1块硬盘的功率，存储空间利用率非常高。RAID 5不对存储的数据进行备份，而是把数据和相对应的奇偶校验信息传输到组成RAID 5的各个扇区上，并且奇偶校验信息和相对应的数据分别传输于不同的磁盘上。当RAID 5的任何一块硬盘上的数据损坏，均可以借助校验数据计算下来。本章结束谢谢观看

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-120270-1.html