Hadoop2.0构成之YARN
YARN产生背景
Hadoop1.x中的MapReduce构成图如下：
在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker；
JobTracker：负责资源管理和作业调度；
TaskTracker：定期向JobTracker汇报本节点的健康状况、资源使用情况以及任务的执行情况；接收来自JobTracker的命令（启动/杀死任务等）并执行接收到的命令;
1、MapReduce1.0存在的问题：
1）单点故障：JobTracker只有一个，JobTracker挂了整个集群就没办法使用了；
2）JobTracker负责接收来自各个JobTracker节点的RPC请求，压力会很大，限制了集群的扩展；随着节点规模增大之后，JobTracker就成为一个瓶颈；
3）仅支持MapReduce计算框架；
MapReduce计算框架是一个基于Map和Reduce两阶段、适合批处理的、基于磁盘的计算框架；
MapReduce计算框架优点：容错性好；
MapReduce计算框架缺点：性能差；
2、资源利用率
在没有YARN之前，是一个集群一个计算框架。比如：Hadoop一个集群、Spark一个集群、HBase一个集群......
造成各个集群管理复杂，资源的利用率很低；比如：在某个时间段内Hadoop集群忙而Spark集群闲着，反之亦然，各个集群之间不能共享资源造成集群间资源并不能充分利用；
解决思路：
将所有的计算框架运行在一个集群中，共享一个集群的资源，按需分配；Hadoop需要资源就将资源分配给Hadoop，Spark需要资源就将资源分配给Spark，进而整个集群中的资源利用率就高于多个小集群的资源利用率；
3、运维成本
采用“一个框架一个集群”的模式，则需要多个管理员管理这些集群，进而增加运维成本；
而共享集群模式通常需要少数管理员即可完成多个框架的统一管理;
4、数据共享
随着数据量的暴增，跨集群间的数据移动不仅需要花费更长的时间，且硬件成本也会大大增加；
而共享集群模式可让多种框架共享数据和硬件资源,将大大减少数据移动带来的成本;
总结：
1) 源于MRv1的缺陷：扩展性受限、单点故障、难以支持MR之外的计算框架；
2) 多计算框架各自为战，数据共享困难，资源利用率低；
MR: 离线计算框架
Storm：实时计算框架
Spark：内存计算框架
催生了YARN的产生。
YARN基本构成
Master/Slave结构，1个ResourceManager对应多个NodeManager；
YARN由Client、ResourceManager、NodeManager、ApplicationMaster组成；
Client向ResourceManager提交任务、杀死任务等；
ApplicationMaster由对应的应用程序完成；每个应用程序对应一个ApplicationMaster，ApplicationMaster向ResourceManager申请资源用于在NodeManager上启动相应的Task；
NodeManager向ResourceManager通过心跳信息：汇报NodeManager健康状况、任务执行状况、领取任务等；
ResourceManager：整个集群只有一个，负责集群资源的统一管理和调度
1）处理来自客户端的请求（启动/杀死应用程序）；
2）启动/监控ApplicationMaster；一旦某个AM挂了之后，RM将会在另外一个节点上启动该AM；
3）监控NodeManager，接收NodeManager的心跳汇报信息并分配任务到NodeManager去执行；一旦某个NM挂了，标志下该NM上的任务，来告诉对应的AM如何处理；
4）负责整个集群的资源分配和调度；
NodeManager：整个集群中有多个，负责单节点资源管理和使用
1）周期性向ResourceManager汇报本节点上的资源使用情况和各个Container的运行状态；
2）接收并处理来自ResourceManager的Container启动/停止的各种命令；
3）处理来自ApplicationMaster的命令；
4）负责单个节点上的资源管理和任务调度；
ApplicationMaster：每个应用一个，负责应用程序的管理
1）数据切分；
2）为应用程序/作业向ResourceManager申请资源(Container)，并分配给内部任务；
3）与NodeManager通信以启动/停止任务；
4）任务监控和容错（在任务执行失败时重新为该任务申请资源以重启任务）；
5）处理ResourceManager发过来的命令：杀死Container、让NodeManager重启等；
Container
对任务运行环境的抽象；
1）任务运行资源（节点、内存、CPU）；
2）任务启动命令；
3）任务运行环境；
任务是运行在Container中，一个Container中既可以运行ApplicationMaster也可以运行具体的Map/Reduce/MPI/Spark Task；
YARN工作原理
1）用户向YARN中提交应用程序/作业，其中包括ApplicaitonMaster程序、启动ApplicationMaster的命令、用户程序等；
2）ResourceManager为作业分配第一个Container，并与对应的NodeManager通信，要求它在这个Containter中启动该作业的ApplicationMaster；
3）ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查询作业的运行状态；然后它将为各个任务申请资源并监控任务的运行状态，直到运行结束。即重复步骤4-7；
4）ApplicationMaster采用轮询的方式通过RPC请求向ResourceManager申请和领取资源；
5）一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务；
6）NodeManager启动任务；
7）各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicaitonMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务；
在作业运行过程中，用户可随时通过RPC向ApplicationMaster查询作业当前运行状态；
8）作业完成后，ApplicationMaster向ResourceManager注销并关闭自己；
YARN容错性
1、ResourceMananger
基于ZooKeeper实现HA避免单点故障；
2、NodeManager
执行失败后，ResourceManager将失败任务告诉对应的ApplicationMaster；
由ApplicationMaster决定如何处理失败的任务；
3、ApplicationMaster
执行失败后，由ResourceManager负责重启；
ApplicationMaster需处理内部任务的容错问题；
RMAppMaster会保存已经运行完成的Task，重启后无需重新运行。
YARN调度框架
1、双层调度框架
1）ResourceManager将资源分配给ApplicationMaster；
2）ApplicationMaster将资源进一步分配给各个TASK；
2、基于资源预留的调度策略
1）资源不够时，会为Task预留，直到资源充足；
描述：当一个Task需要10G资源时，各个节点都不足10G，那么就选择一个节点，但是某个NodeManager上只有2G，那么就在这个NodeManager上预留，当这个NodeManager上释放其他资源后，会将资源预留给10G的作业，直到攒够10G时，启动Task；
缺点：资源利用率不高，要先攒着，等到10G才利用，造成集群的资源利用率低；
2）与“all or nothing”策略不同（Apache Mesos）
描述：当一个作业需要10G资源时，节点都不足10G，那就慢慢等，等到某个节点上有10G空闲资源时再运行，很可能会导致该Task饿死。
YARN设计目标
通用的统一的资源管理系统：
1）同时运行长应用程序（永不停止的程序：Service、HTTP Server）；
2）短应用程序（秒、分、小时级内运行结束的程序：MR job、Spark job等）；
以YARN为核心的生态系统
在引入YARN之后，可以在YARN上运行各种不同框架的作业：
离线计算框架：MapReduce
DAG计算框架：Tez
流式计算框架：Storm
内存计算框架：Spark
MapReduce2.0与YARN
1、一个MapReduce应用程序需要如下模块：
1）任务管理和资源调度；
2）任务驱动模块（MapTask、ReduceTask）；
3）用户代码（Mapper、Reducer）；
2、MapReduce2.0的组成：
1）YARN（整个集群只有一个）；
2）MRAppMasster（一个应用程序一个）；
3）用户代码（Mapper、Reducer）；
3、MapReducer1.0和MapReduce2.0的区别：
1）MapReduce1.0是一个独立的系统，直接运行在Linux上；
2）MapReduce2.0则是运行在YARN上的框架，且可与多种框架一起运行在YARN之上；
4、MapReduce2.0和YARN的区别：
1）YARN是一个资源管理系统，负责资源管理和调度；
2）MapReduce只是运行在YARN上的一个应用程序；如果把YARN看成是android，那么MapReduce就是运行在android上个一个app；