大白话告诉你，hadoop到底是个神马鬼

hadoop是哪个？

(1)Hadoop是一个开源的框架，可编写和运行分布式应用处理数据，是专为离线和数据预测而设计的，并不合适这种对几个记录随机读写的事务处理方式。Hadoop=HDFS（文件系统，数据传输科技相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何手段，在处理半结构化和非结构化数据上与关系型相比有更好的性能，具有更灵活的处理能力，不管任何数据方式最后会转换为key/value，key/value是基本数据单元。用函数式变成Mapreduce代替SQL，SQL是查询语句，而Mapreduce则是使用脚本和代码，而针对适用于关系型，习惯SQL的Hadoop有开源软件hive代替。

(2)Hadoop就是一个分布式计算的解决方案.

hadoop能做哪个？

hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据预测；淘宝搜索中 的 自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您也许了解的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐只是！在Yahoo！的40%的Hadoop作业是用pig运行的hadoop是什么，包括垃圾邮件的甄别和过滤hadoop是什么，还有客户特点建模。（2012年8月25新升级，天猫的推荐平台是hive，少量尝试mahout！）

下面举例说明：

设想一下这样的应用情景. 我有一个100M 的备份的sql 文件.我今天想在不导入到的状况下直接用grep操作通过正则过滤出我想要的内容。例如：某个表中 含有同样关键字的记录如此有几种方式,一种是直接用linux的命令 grep 还有一种就是通过编程来调用文件,然后对每行数据进行正则匹配受到结果好了 现在是100M 的备份.上述两种方式都可以轻松面对.

那么即使是1G , 1T 甚至 1PB 的数据呢 ,上面2种方法能够行得通吗？ 答案是不能.毕竟单台服务器的性能总有其上限.那么针对这些 超大数据文件如何受到我们想要的结果呢？

有种方法 就是分布式计算, 分布式计算的核心就在于 利用分布式算法 把运行在单台机器上的程序扩展到多台机器上并行运行.从而使数据处理能力成倍增加.但是这些分布式计算通常对编程人员规定很好,而且对服务器也有要求.导致了成本更加特别高.

Haddop 就是为了解决这个难题诞生的.Haddop 可以很随意的把 很多linux的廉价pc 组成 分布式节点,然后编程人员也不需要知道分布式算法之类,只应该按照mapreduce的规则定义好接口方式,剩下的就留给Haddop. 它会手动把相关的计算分布到各个节点上去,然后得出结果.

例如上述的举例 ： Hadoop 要做的事 首先把 1PB的数据文件导入到 HDFS中, 然后编程人员定义好 map和reduce, 也就是把文件的行定义为key,每行的内容定义为value , 然后进行正则匹配,匹配失败则把结果 通过reduce聚合出来返回.Hadoop 就会把这个程序分布到N 个节点去并行的操作.

那么当时或许还要计算好几天,在有了足够多的结点时候就可以把时间缩小到几小时之内.

这也就是所谓的 大数据 云计算了.如果还是不懂的话再举个简单的事例

比如1亿个1 相加 得出计算结果, 我们很轻易了解结果是 1亿.但是计算机不知道.那么单台计算机处理的方法做一个一亿次的循环每天结果+1

那么分布式的处理方法则成为 我用 1万台 计算机,每个计算机只应该计算 1万个 1 相加 然后再有一台计算机把 1万台计算机得到的结果再相加

从而得到最终的结果.

理论上讲, 计算速度就增加了 1万倍. 当然里面或许是一个不正确的事例.但所谓分布式,大数据,云计算 大抵也就是这么回事了.

hadoop能为我司做哪些？

零数据基础，零数据系统，一切起点都是0。

怎么用hadoop

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-120905-1.html