并行文件系统 hadoop云存储解决方案(3)

（2）CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，也没有人敢用云存储了。

（3）存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布多在不同地域，如何实现不同厂商、不同型号甚至于不同类型（例如FC存储和IP存储）的多台设备之间的逻辑卷管 理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而 且还会带来后期容量和性能扩展难等问题。并行文件系统

3部署Hadoop

从历史上看，数据分析软件面对当今的海量数据已显得力不从心，这种局面正在悄然转变。新的海量数据分析引擎已经出现。例如Apache的Hadoop，实践证明，Hadoop在数据处理方面是做得最好的且是开源的平台之一。

云存储中心是由大量服务器构成Hadoop的数据节点（（DataNodes），负责保存文件的内容，实现文件的分布式存储、负载平衡以及文件的容错控制。

下面将利用Hadoop作为实验平台，一步一步演示如何部署一个三个节点的集群，并测试一下MapRe-dace分布式处理的强大功能，在Hadoop分布式文件系统（HDFS）中存人两个文件，并采用MapReduce计算出两个namelist文件中各个名字出现的次数，程序架构设计如图2所示。

图2 3个节点的Hadoop集群

其中NameNode主节点和DataNode从节点的分布情况如下：

表1

（1）启动Hadoop集群

只需要在NameNode主节点上执行start-all.sh命令即可，同时Master节点可以通过ssh登录到各，lave节点去启动其他相关进程。

（2） MapRudce测试

在NameNode和DataNode两个结点都运行正常的时候，也就是Hadoop部署成功了之后，我们在NameNode主节点上准备两个名单文件。名单文件的内容如下：

4运行实验及结果

5结语

结果跟我们预期的一样，这样在以Hadoop为平台进行了对HDFS的文件存储，并且统计了文件中数据的数量，然后显示出来。

猜您喜欢：

1.hadoop伪分布式安装方法

2.Hadoop读写文件时内部工作机制是怎样的？

3.Hadoop中的一些基本操作

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-73792-3.html