深入解析mapreduce架构设计i与实现原理_mapreduce架构_mapreduce的工作原理(2)

5.2.1执行Shell命令

5.2.2作业文件上传

5.2.3产生InputSplit文件

5.2.4作业提交到JobTracker

5.3作业初始化过程详解

5.4Hadoop DistributedCache原理分析

5.4.1使用方法介绍

5.4.2工作原理分析

5.5小结

第6章JobTracker内部实现剖析

6.1JobTracker概述

6.2JobTracker启动过程分析

6.2.1JobTracker启动过程概述

6.2.2重要对象初始化

6.2.3各种线程功能

6.2.4作业恢复

6.3心跳接收与应答

6.3.1更新状态

6.3.2下达命令

6.4Job和Task运行时信息维护

6.4.1作业描述模型

6.4.2JobInProgress

6.4.3TaskInProgress

6.4.4作业和任务状态转换图

6.5容错机制

6.5.1JobTracker容错

6.5.2TaskTracker容错

6.5.3JobTask容错

6.5.4Record容错

6.5.5磁盘容错

6.6任务推测执行原理

6.6.1计算模型假设

6.6.21.0.0版本的算法

6.6.30.21.0版本的算法

6.6.42.0版本的算法

6.7Hadoop资源管理

6.7.1任务调度框架分析

6.7.2任务选择策略分析

6.7.3FIFO调度器分析

6.7.4Hadoop资源管理优化

6.8小结

第7章TaskTracker内部实现剖析

7.1TaskTracker概述

7.2TaskTracker启动过程分析

7.2.1重要变量初始化

7.2.2重要对象初始化

7.2.3连接JobTracker

7.3心跳机制

7.3.1单次心跳发送

7.3.2状态发送

7.3.3命令执行

7.4TaskTracker行为分析

7.4.1启动新任务

7.4.2提交任务

7.4.3杀死任务

7.4.4杀死作业

7.4.5重新初始化

7.5作业目录管理

7.6启动新任务

7.6.1任务启动过程分析

7.6.2资源隔离机制

7.7小结

第8章Task运行过程分析

8.1Task运行过程概述

8.2基本数据结构和算法

8.2.1IFile存储式

8.2.2排序

8.2.3Reporter

8.3Map Task内部实现

8.3.1Map Task整体流程

8.3.2Collect过程分析

8.3.3Spill过程分析

8.3.4Combine过程分析

8.4Reduce Task内部实现

8.4.1Reduce Task整体流程

8.4.2Shuffle和Merge阶段分析

8.4.3Sort和Reduce阶段分析

8.5MapReduce Task优化

8.5.1参数调优

8.5.2系统优化

8.6小结

第四部分MapReduce高级篇

第9章Hadoop性能调优

9.1概述

9.2从管理员角度进行调优

9.2.1硬件选择

9.2.2操作系统参数调优

9.2.3JVM参数调优

9.2.4Hadoop参数调优

9.3从用户角度进行调优

9.3.1应用程序编写规范

9.3.2作业级别参数调优

9.3.3任务级别参数调优

9.4小结

第10章Hadoop多用户作业调度器

10.1多用户调度器产生背景

10.2HOD

10.2.1Torque资源管理器

10.2.2HOD作业调度

10.3Hadoop队列管理机制

10.4Capacity Scheduler实现

10.4.1Capacity Scheduler功能介绍

10.4.2Capacity Scheduler实现

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-33341-2.html