hadoop梳理

Hadoop简单介绍

Hadoop是 apache 基金会组织的一个顶级项目，其核心为HDFS和MapReduce，HDFS为海量的数据提供存储，而MapReduce为海量的数据提供计算，官网： http://hadoop.apache.org 。

在Apache Hadoop的基础上，Cloudera公司将其进行商业化改进和更新，它的发行版本就是CDH(Cloudera Distribution Hadoop)，CDH官网： http://www.cloudera.com 。

下载地址：

CDH4.x: http://archive.cloudera.com/c...

CDH5.x: http://archive.cloudera.com/c...

CDH5.3.6文档： http://archive.cloudera.com/c...

Apache Hadoop : http://archive.apache.org/dis...

Apache Hadoop文档： http://hadoop.apache.org/docs

hadoop启动后会至少有五个进程。

ResourceManager

NodeManager

NameNode

NameNode节点的主要功能是管理系统的元数据，负责管理文件系统的命令空间，记录文件数据块在DataNode节点上的位置和副本信息，协调客户端对文件系统的访问，以及记录命名空间的改动和本身属性的变动。

DataNode

DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。

SecondaryNameNode

启动命令

启动当前节点的服务，如namenode、secondarynamenode、datanode、journalnode、dfs、dfsadmin、fsck、balancer、zkfc等：

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode

注意：hadoop-daemons.sh其实就是在hadoop-daemon.sh的基础上还调用了salves.sh，通知其他机器执行命令，也就是说hadoop-daemon.sh只对一台机器起作用，但是hadoop-daemons.sh会对多台机器起作用。

yarn-daemon.sh 同理。

或者分两个模块启动hdfs、yarn。

hdfs里面按顺序分别调用hadoop-daemons.sh脚本启动namenode，datanode，secondarynamenode，journalnode，zkfc。

stop-dfs.sh和start-dfs.sh一样，按照启动的顺序调用hadoop-daemons.sh来关闭服务进程；

yarn里面按顺序分别调用yarn-daemons.sh脚本启动resourcemanager，nodemanager服务。

stop-yarn.sh和start-yarn.sh一样，按照启动的顺序调用yarn-daemons.sh来关闭服务进程。

$HADOOP_HOME/sbin/start-dfs.sh 
$HADOOP_HOME/sbin/start-yarn.sh

一个命令同时启动两个模块：

$HADOOP_HOME/sbin/start-all.sh