从HDFS和MapReduce两方面了解Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架，框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数据提供了存储，而 MapReduce 则为海量的数据提供了计算。这篇文章就主要从 HDFS 和 MapReuce 两个大的方面展开对 Hadoop 讲解，当然为了直观的测试 HDFS 提供的丰富的 API 以及我们编写的 MapReduce 程序，在阅读下面的内容之前，你需要准备一台安装了 Hadoop 的机器(也可以是虚拟机)，如果你还没有安装的话，可以参考《在 Ubuntu 上安装 Hadoop》。

HDFS

HDFS 概念

之前在网上看到不少人都在搜索这款游戏的人物出招表，小编无意中发现一个与小编提供的版本相对应的全人物出招表，不过是英文的(小编的英文不好= =|||)，这里小编把它发出来，期待有英语达人能翻译一下，小编替所有在寻找出招表的朋友表示感谢。hadoop distributed file system (hdfs™): a distributed file system that provides high-throughput access to application data.。

相关名词

为了后面大家更容易理解文章，这里使用一定的篇幅来简单的介绍一下与 HDFS 相关的一些组件或者名词的概念。

NameNode，管理节点，管理系统的命名空间，维护着整个文件系统的结构和目录信息，通常情况下一个 Hadoop 集群只会有一个工作的 NameNode。

DataNode，工作节点，文件系统的工作节点，主要是根据需要进行存储或者检索数据块，并且定期向 NameNode 报告它们所存储的数据块列表。

数据块，同我们常使用的磁盘上的文件系统一样，HDFS 也有数据块的概念，默认的大小为 128M。

块缓存，一般情况下，我们通过 HDFS 从 DataNode 中检索数据时，DataNode 都是从磁盘中读取，但是对于访问很频繁的文件，它所对于的数据块可能会被缓存到 DataNode 的内存中，以加快读取速度，这就是所谓的块缓存。

联邦 HDFS，其实这个就是为了解决 Hadoop 不适合存储数量庞大的文件的问题，同时由多个 NameNode 来维护整个文件系统的系统树以及文件和目录，每个 NameNode 负责管理文件系统命名空间中的一部分。

特性

下面我们就一起来看下 HDFS 有哪些特性：

存储超大文件，由于 HDFS 是分布式的文件系统，所以不受单台机器的存储大小的限制，可以存储超大文件，目前已经达到了 PB 级了。

流式访问数据。

HDFS 对硬件的要求并不是很高，可以运行在廉价的商用硬件上。

从今年上半年温州地方财政收入中，房地产业及税收占据半壁江山的态势看，在未来的几年之内，恐怕还是需靠着房产这种刚性需求亦步亦趋地实现平稳增长，待到经济结构转型成功之际，才会形成新的风向标。4、nginx的优势是处理静态请求，cpu内存使用率低，apache适合处理动态请求，所以现在一般前端用nginx作为反向代理抗住压力，apache作为后端处理动态请求。由于这种产品单从制冷功能的实现来看比较容易达到，所以市场的模仿情况比较严重。

此外，内存存储的数据一般和传统存储的数据有相对性，即内存存储的数据一般有更低的时效性，通常在内存中，每一个数据都有相关规定的有效时间和有效期限，假如数据存储时间或读取时间超过这个有效时间以外，则原有的数据就会失效，同时产生新的数据进行替换和替代。只是它提供了更多的功能lopen 以二进制模式打开指定的文件lread 将文件中的数据读入内存缓冲区lwrite 将数据从内存缓冲区写入一个文件lzclose 关闭由lzopenfile 或 lzinit函数打开的一个文件lzcopy 复制一个文件lzinit 这个函数用于初始化内部缓冲区lzopenfile 该函数能执行大量不同的文件处理。内存不足时,是否启用磁盘缓存(即内存中对象数量达到maxelementsinmemory时,ehcache会将对象写到磁盘中)，会根据标签中path值查找对应的属性值,写入磁盘的文件会放在path文件夹下,文件的名称是cache的名称,后缀名是data。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-94214-1.html