java分布式文件系统_分布式小文件系统 开源_分布式文件系统有哪些(4)

文件目录的信息，全部囤积在主控服务器上，因此，所有对文件目录的操作，只会直接涉及到客户端和主控服务器。整个目录相关的操作流程基本都是这样的：客户端DFSClient调用ClientProtocol定义的相关函数，该操作通过RPC传送到其实现者主控服务器NameNode那里，NameNode做相关的处理后（很少...），调用FSNamesystem的相关函数。在FSNamesystem中，往往是做一些验证和租约操作，具体的目录结构操作交由FSDirectory的相应函数来操作。最后，依次返回，经由RPC传送回客户端。具体各操作涉及到的函数和具体步骤，参见下表：

1.检查是否有写权限；

2. 检查是否已经存在此文件，如果是覆写，则先进行删除操作；

3. 在指定路径下添加INodeFileUnderConstruction的文件实例；

4.写日志；

5.签订租约。

1.检查指定目录是否是目录；

2.检查是否有相关权限；

3. 在指定路径的INode下，添加子节点；

4. 写日志。

1. 检查相关路径的权限；

2. 从老路径下移除，在新路径下添加；

3. 修改相关父路径的修改时间；

4. 写日志；

5. 将租约从老路径移动到新路径下。

1. 如果不是递归删除，确认指定路径是否是空目录；

2. 检查相关权限；

3. 在目录结构上移除相关INode；

4. 修改父路径的修改时间；

5. 将相关的数据块，放入到废弃队列中去，等待处理；

6. 写日志；

7. 废弃相关路径的租约。

1. 检查owner判断是否有操作权限；

2. 修改指定路径下INode的权限；

3. 写日志。

1. 检查是否有操作权限；

2. 修改指定路径下INode的权限；

3. 写日志。

1. 检查是否有写权限；

2. 修改指定路径INode的时间信息；

3. 写日志。

从上表可以看到，其实有的操作本质上还是涉及到了数据服务器，比如文件创建和删除操作。但是，之前提到，主控服务器只于数据服务器是一个等待拉取的地位，它们不会主动联系数据服务器，将指令传输给它们，而是放到相应的数据结构中，等待数据服务器来取。这样的设计，可以减少通信的次数，加快操作的执行速度。。。

另，上述步骤中，有些日志和租约相关的操作，从概念上来说，和目录操作其实没有任何联系，但是，为了满足分布式系统的需求，这些操作是非常有必要的，在此，按下不表。。。

不论是文件读取，还是文件的写入，主控服务器扮演的都是中介的角色。客户端把自己的需求提交给主控服务器，主控服务器挑选合适的数据服务器，介绍给客户端，让客户端和数据服务器单聊，要读要写随你们便。这种策略类于DMA，降低了主控服务器的负载，提高了效率。。。

相比于写，文件的读取实在是一个简单的过程。在客户端DFSClient中，有一个DFSClient.DFSInputStream类。当需要读取一个文件的时候，会生成一个DFSInputStream的实例。它会先调用ClientProtocol定义getBlockLocations接口，提供给NameNode文件路径、读取位置、读取长度信息，从中取得一个LocatedBlocks类的对象，这个对象包含一组LocatedBlock，那里面有所规定位置中包含的所有数据块信息，以及数据块对应的所有数据服务器的位置信息。java分布式文件系统当读取开始后，DFSInputStream会先尝试从某个数据块对应的一组数据服务器中选出一个，进行连接。这个选取算法，在当下的实现中，非常简单，就是选出第一个未挂的数据服务器，并没有加入客户端与数据服务器相对位置的考量。读取的请求，发送到数据服务器后，自然会有DataXceiver来处理，数据被一个包一个包发送回客户端，等到整个数据块的数据都被读取完了，就会断开此链接，尝试连接下一个数据块对应的数据服务器，整个流程，依次如此反复，直到所有想读的都读取完了为止。。。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-40093-4.html