hadoop hbase hive 关系 什么是大数据？(5)

② “消压处理”是一种计算手段，虚拟荷载 的物理意义是什么。

他们的目的是处理数据而不是开发软件，写程序只是处理数据所需的手段。

数据中心作为数据的产生、传输与储存中心，随着数据量的快速爆发，同时伴随着云计算、大数据、人工智能等技术的发展推动对于数据分析的需求，特别是大数据的出现需要将海量非结构化数据进行分析处理提取有用信息，it资源能力向集群计算转变，直接推动云服务基础设施发展。

1、Java编程技术

Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的。

2、Linux命令

对于软件的开源，厂商和用户已经逐渐敞开了胸怀，开源的虚拟化kvm、开源的操作系统linux、开源的云计算架构openstack、开源的大数据平台hadoop等。

samba 是一种开放式资源/免费软件组，可向 smb/cifs 客户端提供无缝文件和打印服务，而不论基于何种操作系统，如 linux、unix、ibm 390 系统、开放式 vms 或 windows。

刚刚学习到linux的时，通常需要使用man 命令查阅一些命令的帮助信息。

这里的基本命令是指windows、linux、unix等操作系统下的常用的命令，对于这些命令我们需要掌握哪些呢。

3、Hadoop

Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与操作!

4、Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

5、Avro与Protobuf

Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

6、ZooKeeper

ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

7、HBase

sqoop是一个从结构化传说大量数据到hdfs. 使用它，既可以从一个外部的关系型将数据导入到hdfs, hive, 或者 hbase, 也可以hadoop 集群导出到一个关系型或者数据仓库.。

hbase 发展至今已是个比较成熟的开源分布式，其高性能，高可用性及高可扩展的特性，可为海量数据的存取提供强大动力。

他们研发了中国首个分布式，在大数据核心技术领域立下标杆。

在分布式模式下使用的一个可选进程，用于数据不一致时进行恢复工作。

8、phoenix

phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-92644-5.html