计算平台 推荐大数据平台选型有三种选择：1、使用云平台，优点(2)

2、?? 数据盘不需要做raid，直接使用单个磁盘。使用raid0虽然性能高，但是单个磁盘损坏会导致整个raid磁盘不能使用，使用raid5数据可靠性高，但是性能不高。计算平台 推荐更重要的是，我们数据的安全性靠的是软件保证。

3、?? 每台机器的磁盘数和磁盘空间尽可能一样。

4、?? 系统盘一定要是使用单独的磁盘，最少200G空间以上

5、?? 使用高转速磁盘，至少1000转以上，避免磁盘成为瓶颈。

6、?? 集群机器之间至少10Gigabit（万兆）以太网。

7、?? 内存、CPU、磁盘、带宽和磁盘io要保持一个合理的性价比。例如正常情况下内存越大越好，但是内存大到一定阶段，cpu和带宽就会成为瓶颈，如果加大cpu和带宽，最后磁盘io就有可能是瓶颈。

1、?? 禁用swap，使用交换分区会严重影响程序的性能。现在的内存已经不是很稀缺了，而且内存和磁盘速度相差太大。

2、?? 增大操作系统的最大打开文件数。

3、?? 设置数据盘的noatime属性。

4、?? 文件系统选择ext4

1、?? Namenode节点不要和datanode节点部署在一起

??

1、?? yarn分配的内存是机器总内存的75%，剩余的内存用于操作系统、系统缓存、程序等使用。

2、?? nm节点和datanode节点部署到同样的机器上。

3、?? RM节点选择和namenode节点部署到同一个机器。

Zookeeper

1、?? zookeeper节点选择负载比较少的机器部署，不要和nodemanager部署到同一台机器上

2、?? zookeeper节点数3个

3、?? zookeeper数据最好存储到单独的磁盘上，不要和数据盘用着同一个盘

spark部署注意的地方

1、?? 计算节点尽快能接近数据节点

2、?? 配置多个磁盘作为spark的本地目录，最好能和datanode的数据目录用同一个，spark-on-yarn由yarn.nodemanager.local-dirs确定

1、?? kafka最好单独部署一个集群，如果机器资源不够也需要有单独的磁盘

2、?? kafka尽可能部署到负载比较小的机器上

??其它优化

shuffle相关参数调优

大数据集群的规模是随着业务发展逐渐增大，导致集群机器配置不一致，主要是有一批配置低的机器最初用来跑MR任务，一批配置高的机器使用跑spark任务，最好不同的任务能提交到指定的机器运行，所以引入了对NodeManager打标签。将配置低的机器打标签为MR任务，配置高分为spark离线任务和spark Streaming任务。同时对队列也设置相应的标签。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-62842-2.html