hadoop梳理

栏目: 编程工具 · 发布时间: 1年前

来源: segmentfault.com

内容简介:Hadoop是apache基金会组织的一个顶级项目,其核心为HDFS和MapReduce,HDFS为海量的数据提供存储,而MapReduce为海量的数据提供计算,官网:在Apache Hadoop的基础上,Cloudera公司将其进行商业化改进和更新,它的发行版本就是CDH(Cloudera Distribution Hadoop),CDH官网:下载地址:

本文转载自:https://segmentfault.com/a/1190000019114235,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有。

Hadoop简单介绍

Hadoop是 apache 基金会组织的一个顶级项目,其核心为HDFS和MapReduce,HDFS为海量的数据提供存储,而MapReduce为海量的数据提供计算,官网: http://hadoop.apache.org

在Apache Hadoop的基础上,Cloudera公司将其进行商业化改进和更新,它的发行版本就是CDH(Cloudera Distribution Hadoop),CDH官网: http://www.cloudera.com

下载地址:

CDH4.x: http://archive.cloudera.com/c...

CDH5.x: http://archive.cloudera.com/c...

CDH5.3.6文档: http://archive.cloudera.com/c...

Apache Hadoop : http://archive.apache.org/dis...

Apache Hadoop文档: http://hadoop.apache.org/docs

hadoop启动后会至少有五个进程。

ResourceManager

NodeManager

NameNode

NameNode节点的主要功能是管理系统的元数据,负责管理文件系统的命令空间,记录文件数据块在DataNode节点上的位置和副本信息,协调客户端对文件系统的访问,以及记录命名空间的改动和本身属性的变动。

DataNode

DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。

SecondaryNameNode

启动命令

启动当前节点的服务,如namenode、secondarynamenode、datanode、journalnode、dfs、dfsadmin、fsck、balancer、zkfc等:

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode

注意:hadoop-daemons.sh其实就是在hadoop-daemon.sh的基础上还调用了salves.sh,通知其他机器执行命令,也就是说hadoop-daemon.sh只对一台机器起作用,但是hadoop-daemons.sh会对多台机器起作用。

yarn-daemon.sh 同理。

或者分两个模块启动hdfs、yarn。

hdfs里面按顺序分别调用hadoop-daemons.sh脚本启动namenode,datanode,secondarynamenode,journalnode,zkfc。

stop-dfs.sh和start-dfs.sh一样,按照启动的顺序调用hadoop-daemons.sh来关闭服务进程;

yarn里面按顺序分别调用yarn-daemons.sh脚本启动resourcemanager,nodemanager服务。

stop-yarn.sh和start-yarn.sh一样,按照启动的顺序调用yarn-daemons.sh来关闭服务进程。

$HADOOP_HOME/sbin/start-dfs.sh 
$HADOOP_HOME/sbin/start-yarn.sh

一个命令同时启动两个模块:

$HADOOP_HOME/sbin/start-all.sh

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

关注码农网公众号

关注我们,获取更多IT资讯^_^


为你推荐:

相关软件推荐:

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Hadoop: The Definitive Guide

Hadoop: The Definitive Guide

Tom White / O'Reilly Media, Inc. / 2009 / 44.99

Apache Hadoop is ideal for organizations with a growing need to store and process massive application datasets. Hadoop: The Definitive Guide is a comprehensive resource for using Hadoop to build relia......一起来看看 《Hadoop: The Definitive Guide》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

MD5 加密
MD5 加密

MD5 加密工具

SHA 加密
SHA 加密

SHA 加密工具