内容简介:Hadoop2.7.3完全分布式集群搭建
集群如下:
192.168.188.111 master
192.168.188.112 slave1
192.168.188.113 slave2
一、环境配置
1.修改hosts和hostname
以master为例:
修改hosts
[[email protected] ~]# vim /etc/hosts
192.168.188.111 master
192.168.188.112 slave1
192.168.188.113 slave2
修改hostname
[[email protected] ~]# vim /etc/hostname
同样地,在slave1和slave2做相同的hostname操作,分别命名为slave1和slave2.然后分别把slave1和slave2的hosts文件更改为和master一样。
2.配免密登录
次文章重点不在配免密登录,所有略,可以看其他博客。
3.配置环境变量
[[email protected] ~]# vim /etc/profile
#java export JAVA_HOME=/root/package/jdk1.8.0_121 export PATH=$PATH:$JAVA_HOME/bin #spark export SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin #ANACONDA export ANACONDA=/root/anaconda2 export PATH=$PATH:$ANACONDA/bin #HADOOP export HADOOP_HOME=/root/package/hadoop-2.7.3 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME
输入 source /etc/profile 使配置文件生效。
[[email protected] ~]# source /etc/profile
查看配置是否成功:
输入 java -version
出现以上信息则 Java 配置成功。
二、hadoop配置
1.master配置
首先,安装hadoop-2.7.3,我是直接在要安装的目录下解压,所有在tar -zxvf 后边 没有输入其他的路径。
[[email protected] package]# tar -zxvf hadoop-2.7.3
2.hadoop-env.sh配置
hadoop-2.7.3 的配置文件都在 /root/package/hadoop-2.7.3/etc/hadoop 下
/root/package/hadoop-2.7.3/etc/hadoop
[[email protected] hadoop]# vim hadoop-env.sh
修改JAVA_HOME值
# The java implementation to use. export JAVA_HOME=/root/package/jdk1.8.0_121
3.yarn-env.sh配置
[[email protected] hadoop]# vim yarn-env.sh
# some Java parameters export JAVA_HOME=/root/package/jdk1.8.0_121
4.修改slaves
[[email protected] hadoop]# vim slaves
将内容修改为
slave1 slave2
5.core-site.xml配置
<configuration> <!-- 指定hdfs的nameservice为ns1 --> <property> <name>fs.defaultFS</name> <value>hdfs://10.10.11.181:9000</value> </property> <!-- Size of read/write buffer used in SequenceFiles. --> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <!-- 指定hadoop临时目录,自行创建 --> <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property> </configuration>
6.hdfs-site.xml配置
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>10.10.11.181:50090</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/root/hadoop/hdfs/namenode/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/root/hadoop/hdfs/datanode/dfs/data</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>
7.配置mapred-site.xml
先复制再修改
[[email protected] hadoop]# cp mapred-site.xml.template mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.188.111:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.188.111:19888</value> </property> </configuration>
8.yarn-site.xml配置
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>
9.然后把在master的配置拷贝到slave1和slave2节点上
scp -r hadoop-2.7.3 [email protected]168.188 . 112
:/root/package
三、启动hadoop
1.格式化命令。因为已经配置了hadoop的环境变量,所以不一定非要在hadoop的安装目录输入格式化命令。
[[email protected] sbin]# hdfs namenode -format
2.启动
[[email protected] sbin]# start-all.sh
四、用jps查看结果
启动后分别在master和slave1和slave2下查看进程。
master如下:
slave1如下:
slave2如下:
则表示成功。
五、界面查看验证
输入http://192.168.188.111:8088/
输入http://192.168.188.111:50070/
到此,hadoop-2.7.3完全分布式集群搭建成功。
以上所述就是小编给大家介绍的《Hadoop2.7.3完全分布式集群搭建》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Numerical Methods and Methods of Approximation in Science and En
Karan Surana / CRC Press / 2018-10-31
ABOUT THIS BOOK Numerical Methods and Methods of Approximation in Science and Engineering prepares students and other readers for advanced studies involving applied numerical and computational anal......一起来看看 《Numerical Methods and Methods of Approximation in Science and En》 这本书的介绍吧!