您的当前位置:首 页 >> 信息中心

hadoop全分布详细搭建,Hadoop环境搭建

发布日期:2021-11-29 16:47:00 作者: 点击:
1.Hadoop安装准备工作:

(1)安装好linux操作系统 (2)关闭防火墙 (3)在linux上安装JDK (4)hadoop2,hadoop3,hadoop4三台服务器已经设置过免密登陆

2.解压Hadoop压缩包并配置环境变量

(1)将Hadoop安装包拷贝到/opt/software文件目录下 (2)将Hadoop安装包解压到/opt/module文件目录下 命令为:

tar -zxvf hadoop-2.8.4.tar.gz -C /opt/module//将hadoop-2.8.4.tar.gz解压到/opt/module目录下

(3)配置环境变量 a修改环境变量配置文件 修改命令:

vi ~/.bash_profile//修改环境变量的文件

添加的内容为:

HADOOP_HOME=/opt/module/hadoop-2.8.4export HADOOP_HOMEPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport PATH

b使环境变量生效 输入命令:

source ~/.bash_profile 3.修改配置文件

(1)修改hadoop-env.sh 命令:

vi hadoop-env.sh //修改hadoop-env.sh文件

修改内容为:

export JAVA_HOME=/opt/module/jdk1.8.0_144//修改JAVAHOME地址,改为自己建的jdk地址,应该在25行

jdk

(2)修改hdfs-site.xml 命令:

cd /opt/module/hadoop-2.8.4/etc/hadoop//进入etc/hadoop目录vi hdfs-site.xml// 修改hdfs-site.xml文件

修改内容为:

dfs.replication2 dfs.namenode.secondary.http-addresshadoop3:50090

hdfs-site.xml

(3)修改core-site.xml 命令:

vi core-site.xml

修改内容为:

fs.defaultFShdfs://hadoop2:9000 hadoop.tmp.dir/opt/module/hadoop-2.8.4/data/tmp

core-site.xml

(4)修改mapred-site.xml(默认是没有的,需要从mapred-site.xml.template复制转化而来)

命令:

cp mapred-site.xml.template mapred-site.xml //从mapred-site.xml.template转化vi mapred-site.xml //修改mapred-site.xml 文件

修改内容为:

mapreduce.framework.nameyarn

mapred-site.xml

(5)修改yarn-site.xml

命令:

vi yarn-site.xml

修改内容为:

yarn.resourcemanager.hostnamehadoop2yarn.nodemanager.aux-servicesmapreduce_shuffle

yarn-site.xml

(6)修改slaves

命令:

vi slaves

修改内容为:

hadoop3//hadoop3作为从节点hadoop4//hadoop4作为从节点

slaves

4.通过HDFS namenode格式化(注意,要再namenode结点所在服务器格式化,本次即是在hadoop2中进行格式化)

命令:

cd /opt/module/hadoop-2.8.4/data/tmp //这里是step3配置的HDFS数据库和元数据存储目录hdfs namenode -format//格式化

验证是否成功,成功后回显示:

Storage: Storage directory /opt/module/hadoop-2.8.4/tmp/dfs/name has been successfully formatted

验证格式化成功

注意 重复格式化,hadoop.tmp.dir 先停止集群,然后在删除tmp文件夹,再重新新建tmp文件夹,重新格式化,然后再启动集群

5.通过scp拷贝,将hadoop2配置好的hadoop发送到另外两台机器上:

命令:

//拷贝到hadoop4scp -r /opt/moudle/hadoop-2.8.4/ [email protected]:/opt/moudle/ //拷贝到hadoop4scp -r /opt/moudle/hadoop-2.8.4/ [email protected]:/opt/moudle/ 6.启动Hadoop集群

(1)启动 输入命令

start-all.sh //hadoop2中启动,因为此机器是主节点

启动

(2)验证是否启动: hadoop2: hadoop2 hadoop3: hadoop3 hadoop4: hadoop4

与规划的相同,故Hadoop全分布安装成功