很多朋友对于yarn命令解析几何大学和不太懂，今天就由小编来为大家分享，希望可以帮助到大家，下面一起来看看吧！
文章目录：
简述yarn编程过程,再简述mr编程过程,说明二者有何关系?
1、编写 Yarn 应用程序的客户端代码，该代码通常由一个提交 Yarn 应用程序的命令和一些相关的配置参数组成。 在客户端代码中，需要定义 Yarn 应用程序所需要的资源（如 CPU、内存、磁盘等）以及执行的任务数等。
2、概述 YARN是一个资源管理系统，负责集群资源的管理和分配。
3、mapreduce是大数据处理并行框架，用户可以编写自己的程序调用mr框架并行的处理大数据，在调用过程中可以调整m和r的数目。不过总的来说编程相对复杂，因此诞生了hive。
YARN到底是怎么一回事
1、YARN是在MRv1的基础上演化而来，它克服了MRv1的各种局限性：1：扩展性差 MRv1中，Jobracker同事兼备了资源管理和作业控制两个功能。2：可靠性差 MRv1才用了master/slave结构，master存在单点故障的问题。
2、因为生产环境的数据量一般都要比测试大的多，所以会经常出现这种内存的问题。
3、于是他打约Matty一块儿吃饭。Matty又提到了佣人Madmai。Rarmin下定决心要去问鬼脸Madmai佣人Madmai到底在什么地方。他试图要去找佣人Madmai。
(八)YARN架构设计、常用命令、调度器
1、YARN 调度器的工作就是根据既定策略为应用能够分配资源。
2、YARN 的核心就是将jobTracker的功能进行拆解，分成了资源管理和任务调度监控两个进程，一个全局的资源管理和每个作业的管理。
3、Container：资源的抽象，包括一系列描述信息，任务的运行资源（节点、CPU、内存等），任务运行环境，启动命令等。
4、资源管理器：包含2个部分-调度器和应用程序管理器。应用程序管理器负责应用程序的提交、监控应用程序运行状态等。
5、在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两种调度器都允许大任务和小任务在提交的同时获得一定的资源。 下面 Yarn调度器对比图 展示了这几个调度器的区别，从图中可以看出，在FIFO调度器中，小任务会被大任务阻塞。
Yarn知识
yarn包括2个部分：一个是资源管理器，一个是节点管理器。前者主要负责整个集群的资源调度管理，后者主要负责服务器上的资源和任务管理。资源管理器：包含2个部分-调度器和应用程序管理器。
yarn是一个进行nodejs包管理的工具，可以方便管理nodejs依赖包，功能类似npm，但是包依赖管理上更方便。
hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。大数据存储阶段：hbase、hive、sqoop。大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。
YARN基本架构资源调度过程调度算法YARN上的计算框架 离线计算 （1）离线日志收集利器：Flume Flume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。
好了，文章到此结束，希望可以帮助到大家。
文章来自互联网，只做分享使用。发布者：，转转请注明出处：https://www.dingdanghao.com/article/198357.html
