您的当前位置:首 页 >> 信息中心

分布式hadoop搭建过程,WIN10安装配置Hadoop

发布日期:2021-12-05 04:17:48 作者: 点击:

本文记录在WIN10上hadoop单节点的安装,后续再记录多节点分布式的安装。

1、安装JAVA环境

下载JDK8,官网链接:Java SE Development Kit 8

选择64版本:jdk-8u241-windows-x64.exe

下载过程会提示注册oracle账号,请注册,如果是已有oracle账号的可以直接登录,紧接着下载、安装、配置环境变量。

如果JDK安装路径是C:\Program Files\Java,因为Program Files目录有空格,把这个路径配到环境变量Path会报错,填写环境变量时请使用PROGRA~1代替Program Files。

2、下载hadoop

下载hadoop,镜像链接:Index of /apache/hadoop/common

注意:请不要下载最新版本,建议下载 hadoop-3.1.3.tar.gz (大小约322M)或者更低的版本。解压到C:\hadoop,路径可以随意,但不要有中文或空格。

下载winutils,Windows安装hadoop需要这部分文件,链接:steveloughran/winutils ,找到3.0版本,或者cdarlint/winutils 找到 3.2.0,下载bin目录的文件,放入/替换 C:\hadoop\bin 文件夹内的文件,特别是要放入hadoop.dll和winutils.exe文件,并复制一份hadoop.dll放到C:\Windows\System32下。

配置hadoop环境变量,把C:\hadoop添加到HADOOP_HOME,并在Path添加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 。

打开CMD,输入hadoop version 测试是否正常显示版本信息。

3、配置hadoop

切换至目录:C:\hadoop\hadoop-3.1.3\etc\hadoop 下,

修改core-site.xml:

需在目录C:/hadoop/hadoop-3.1.3/下创建data文件夹,配置文件中路径前需加“/”。HDFS可使用localhost,如果在hosts文件已经配置了主机映射,也可以直接填主机名。

hadoop.tmp.dir/C:/hadoop/hadoop-3.1.3/datafs.defaultFShdfs://your_host_name_or_localhost:9000

修改hadoop-env.cmd

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_241

修改hdfs-site.xml

单节点填1即可,如果是多节点,根据节点数量填写。

dfs.replication1dfs.namenode.name.dir/C:/hadoop/hadoop-3.1.3/data/namenodedfs.datanode.data.dir/C:/hadoop/hadoop-3.1.3/data/datanode

修改mapred-site.xml

mapreduce.framework.name yarn

修改yarn-site.xml

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hahoop.mapred.ShuffleHandler

修改完毕。

4、节点格式化

打开cmd执行:

hdfs namenode -format

如正常,会显示namenode has been successfully formatted。如果出错,可能原因有如:环境变量配置错误如路径出现空格,或者winutils版本不对hadoop版本过高等,或hadoop的etc下文件配置有误。

5、启动Hadoop切换到C:\hadoop\sbin目录下(如果有正常配置环境变量是不需要切换目录的),执行命令:

start-all.cmd

启动Hadoop,此时会弹出4个CMD窗口,分别是NameNode、ResourceManager、NodeManager、DataNode。检查4个窗口有没有报错。在CMD执行jps看到这4个进程。

6、登录WEB验证

建议关闭防火墙。

在浏览器输入‘http://your_host_name_or_localhost:8088/’访问集群节点。

在浏览器输入‘http://your_host_name_or_localhost:9870/’访问HDFS。