hadoop – 如何解释MapReduce性能计数器

栏目: 编程工具 · 发布时间: 6年前

内容简介:翻译自:https://stackoverflow.com/questions/31114568/how-to-interpret-mapreduce-performance-counters
更具体:

>在任务计数器中,CPU花费来自proc / stat的utime stime,因此它意味着像IOWait这样的东西不会被计算在内.是对的吗?

>整个任务的经过时间比花费计数器的CPU时间长很多,这是否意味着节点非常繁忙且容器没有CPU或等待很长时间的IO?

>如何从计数器判断任务是CPU绑定还是IO计数?

‘CPU_MILLISECONDS’计数器可以为您提供有关 – 所有任务在CPU上花费的总时间的信息.

‘REDUCE_SHUFFLE_BYTES’数字越高,n / w利用率越高. (更多选择可以这样)

Hadoop中有4类计数器:文件系统,作业,框架和自定义.

您可以使用内置计数器来验证:

1.The correct number of bytes was read and written
2.The correct number of tasks was launched and successfully ran
3.The amount of CPU and memory consumed is appropriate for your job and cluster nodes
4.The correct number of records was read and written

更多信息avalible @ https://www.mapr.com/blog/managing-monitoring-and-testing-mapreduce-jobs-how-work-counters#.VZy9IF_vPZ4 (** credits- mapr.com)

翻译自:https://stackoverflow.com/questions/31114568/how-to-interpret-mapreduce-performance-counters


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

互联网+供应链金融创新

互联网+供应链金融创新

宝象金融研究院、零壹研究院 / 电子工业出版社 / 2016-6 / 65.00

供应链金融是一种带有模式创新的金融服务,它真正渗透到了产业运行的全过程。然而,如何探索这种模式的规律?特别是在"互联网+”时代,不同的产业主体如何更好地利用供应链金融促进产业的发展,成为了众多企业关注的话题。零壹财经攥写的《互联网+供应链金融创新》正是立足于这一点,全面总结反映了中国各行各业,以及不同的经营主体如何在立足产业运营的基础上,通过供应链金融来促进产业的发展具有很好的借鉴意义,其丰富的案......一起来看看 《互联网+供应链金融创新》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

随机密码生成器
随机密码生成器

多种字符组合密码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器