hadoop梳理
来源: segmentfault.com
内容简介:Hadoop是apache基金会组织的一个顶级项目,其核心为HDFS和MapReduce,HDFS为海量的数据提供存储,而MapReduce为海量的数据提供计算,官网:在Apache Hadoop的基础上,Cloudera公司将其进行商业化改进和更新,它的发行版本就是CDH(Cloudera Distribution Hadoop),CDH官网:下载地址:
本文转载自:https://segmentfault.com/a/1190000019114235,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有。
Hadoop简单介绍
Hadoop是 apache 基金会组织的一个顶级项目,其核心为HDFS和MapReduce,HDFS为海量的数据提供存储,而MapReduce为海量的数据提供计算,官网: http://hadoop.apache.org 。
在Apache Hadoop的基础上,Cloudera公司将其进行商业化改进和更新,它的发行版本就是CDH(Cloudera Distribution Hadoop),CDH官网: http://www.cloudera.com 。
下载地址:
CDH4.x: http://archive.cloudera.com/c...
CDH5.x: http://archive.cloudera.com/c...
CDH5.3.6文档: http://archive.cloudera.com/c...
Apache Hadoop : http://archive.apache.org/dis...
Apache Hadoop文档: http://hadoop.apache.org/docs
hadoop启动后会至少有五个进程。
ResourceManager
NodeManager
NameNode
NameNode节点的主要功能是管理系统的元数据,负责管理文件系统的命令空间,记录文件数据块在DataNode节点上的位置和副本信息,协调客户端对文件系统的访问,以及记录命名空间的改动和本身属性的变动。
DataNode
DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。
SecondaryNameNode
启动命令
启动当前节点的服务,如namenode、secondarynamenode、datanode、journalnode、dfs、dfsadmin、fsck、balancer、zkfc等:
$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
注意:hadoop-daemons.sh其实就是在hadoop-daemon.sh的基础上还调用了salves.sh,通知其他机器执行命令,也就是说hadoop-daemon.sh只对一台机器起作用,但是hadoop-daemons.sh会对多台机器起作用。
yarn-daemon.sh
同理。
或者分两个模块启动hdfs、yarn。
hdfs里面按顺序分别调用hadoop-daemons.sh脚本启动namenode,datanode,secondarynamenode,journalnode,zkfc。
stop-dfs.sh和start-dfs.sh一样,按照启动的顺序调用hadoop-daemons.sh来关闭服务进程;
yarn里面按顺序分别调用yarn-daemons.sh脚本启动resourcemanager,nodemanager服务。
stop-yarn.sh和start-yarn.sh一样,按照启动的顺序调用yarn-daemons.sh来关闭服务进程。
$HADOOP_HOME/sbin/start-dfs.sh $HADOOP_HOME/sbin/start-yarn.sh
一个命令同时启动两个模块:
$HADOOP_HOME/sbin/start-all.sh
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

关注我们,获取更多IT资讯^_^
为你推荐:
相关软件推荐:
- URL请求处理工具 JustForFun
- urlib2 处理程序 MultipartPostHandler
- PHP HTTP 客户端 Guzzle 的处理器 Guzzle-Swoole
- 高速数据包处理框架 PF_RING
- Facebook API 的 Java 封装请求处理组件 RestFB
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Hadoop: The Definitive Guide
Tom White / O'Reilly Media, Inc. / 2009 / 44.99
Apache Hadoop is ideal for organizations with a growing need to store and process massive application datasets. Hadoop: The Definitive Guide is a comprehensive resource for using Hadoop to build relia......一起来看看 《Hadoop: The Definitive Guide》 这本书的介绍吧!