Apache Hadoop YARN

栏目: 服务器 · 发布时间: 1年前

来源: segmentfault.com

内容简介:YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行

本文转载自:https://segmentfault.com/a/1190000018775822,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有。

YARN是做什么的

YARN在Hadoop中的功能作用有两个,第一是负责Hadoop集群中的资源管理(resource management),第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工作。

Apache Hadoop YARN

如何管理资源

YARN在管理资源上采用的是master/slave架构。在整个YARN集群中,在其中一个节点上运行 ResourceManager 进程作为master,其余每个节点上都运行一个 NodeManager 进程作为slave。

ResourceManager负责对集群中的所有资源进行统一的管理和调度。NodeManager进程负责单个节点上的资源管理,它监控一个节点上的资源使用情况(如cpu,内存,硬盘,网络等)并将其report给ResourceManager。

ResourceManager有两个主要的组件: SchedulerApplicationsManager

其中的Scheduler就负责为集群中运行的各个application分配所需要的资源。Scheduler只负责资源的调度,它不做任何对application监控或跟踪的工作,此外,在任务由于各种原因执行失败时,它也不负责对任务进行重启。

Scheduler根据application对资源的需求执行其资源调度功能。它将cpu、内存、硬盘、网络等资源合并成一个整体,抽象成 Container 进行资源分配。Container就是Scheduler进行资源分配的一个单位,也是运行在slave节点上的一个组件。

此外,Scheduler是一个可插拔的组件,用户可根据自己的需要设计新的Scheduler,YARN提供了多种可直接使用的调度器,比如Fair Scheduler和Capacity Scheduler等。

如何调度/监控任务

ApplicationMaster组件负责跟踪和管理一个application,它负责为application向ResourceManager中的Scheduler组件申请资源,并通过NodeManger启动和监控一个任务。

当向ResourceManager提交一个application时,必须为其指定一个ApplicationMaster组件。ResourceManager中的ApplicationsManager组件会对所有应用程序的ApplicationMaster进行管理,它首先会为ApplicationMaster组件分配资源,使其运行在一个slave节点的Container中。并负责监控ApplicationMaster的运行状态,在Container出现异常时对ApplicationMaster进行重启。

ApplicationsManager负责管理整个集群中的所有application,包括application提交、与Scheduler协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。


以上所述就是小编给大家介绍的《Apache Hadoop YARN》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

关注码农网公众号

关注我们,获取更多IT资讯^_^


为你推荐:

相关软件推荐:

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Hadoop in Action

Hadoop in Action

Chuck Lam / Manning Publications / 2010-12-22 / USD 44.99

HIGHLIGHT Hadoop in Action is an example-rich tutorial that shows developers how to implement data-intensive distributed computing using Hadoop and the Map- Reduce framework. DESCRIPTION Hadoop i......一起来看看 《Hadoop in Action》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

URL 编码/解码
URL 编码/解码

URL 编码/解码