您的当前位置:首 页 >> 信息中心

linux部署hadoop环境,在Ubuntu下安装和搭建Hadoop环境(伪分布式环境)

发布日期:2021-11-29 16:31:56 作者: 点击:

最近在学习Hadoop,原本是在win10系统下装个虚拟机,在虚拟机上装的是CentOS操作系统,在该虚拟机上搭建好Hadoop环境之后,在学习WordCount的案例时,发现系统太慢了,还老是卡机,最后果断放弃使用虚拟机,转而使用Ubuntu操作系统(我的笔记本装了双系统:win10和Ubuntu16.04.5)。

备注:1)、Hadoop版本选择Hadoop目前有三个版本,分别为:apache hadoop、CDH(Cloudera Distributed Hadoop)、HDP(Hortonworks Data platform)。其中apache hadoop在使用过程中会存在JAR包冲突的问题,一般适合学习使用;CDH具有容易升级、不存在jar包冲突的问题,商业中使用该版本的比较多,学习中也优先选择;HDP存在升级和删除节点困难,一般也是用于商业。因此,我选择的是CDH版本。2)、在搭建hadoop的环境过程中,主要参考了这篇博文Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境) 和官方文档3)、Hadoop cdh的下载地址:点击这里 ,我选择的是hadoop-2.6.0-cdh5.7.0

一、准备

根据hadoop官方文档的要求,配置hadoop的前置要求是安装Java JDK和SSH,因此首先安装jdk和ssh,为安装hadoop做准备。图片.png1.1 创建hadoop用户$sudouseradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell$ sudopasswd hadoop#为hadoop用户设置密码,之后需要连续输入两次密码$ sudoadduser hadoopsudo#为hadoop用户增加管理员权限$ su- hadoop#切换当前用户为用户hadoop$ sudoapt-get update#更新hadoop用户的apt,方便后面的安装1.2 安装SSH,设置SSH无密码登录$ sudo apt-get install openssh-server #安装SSH server$ ssh localhost #登陆SSH,第一次登陆输入yes$ exit#退出登录的ssh localhost$ cd ~/.ssh/#如果没法进入该目录,执行一次ssh localhost$ ssh-keygen -t rsa

输入完$ ssh-keygen -t rsa 语句后,需要连续敲击三次回车,image

其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:image$ cat ./id_rsa.pub >> ./authorized_keys #加入授权$ ssh localhost #此时已不需密码即可登录localhost,并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案图片.png二、安装jdk1.8

首先在Oracle官网下载linux版本的jdk1.8,然后进行安装和配置。

mkdir ~/app #创建app文件夹$ sudo tar -zxvfjdk-8u181-linux-x64.tar.gz-C /app#/ 到压缩包所在的目录将JDK解压到/app目录下$ vim~/.bashrc #给JDK配置环境变量

在./bashrc文件末尾添加如下代码:

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181 #将路径换为自己jdk的路径export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH

修改完文件后,输入代码:

$ source ~/.bashrc#使新配置的环境变量生效$ java -version #检测是否安装成功,查看java版本

出现如下信息,即为安装成功。

图片.png

到此,Hadoop的前置要求已经完成,下面开始进行hadoop的安装和配置。

三、安装hadoop2.6.0-cdh5.7.0

首先下载hadoop的压缩包, 下载地址:点击这里 ,选择自己需要的版本,这里我选择的是::hadoop-2.6.0-cdh5.7.0.tar.gz 。下面进行安装:

$ sudo tar -zxvfhadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app #解压到~/app目录下

给hadoop配置环境变量,将下面代码添加到~/.brashrc文件末尾:

export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

同样,执行source ~/.brashrc使设置生效,并查看hadoop是否安装成功。 图片.png四、hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /hadoop-2.6.0-cdh5.7.0/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。1.修改hadoop-env.sh文件首先将jdk1.8的路径添(export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181 )加到hadoop-env.sh文件

[email protected]:~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop$ vim hadoop-env.shexport JAVA_HOME=/home/hadoop/app/jdk1.8.0_181 图片.png

2.修改core-site.xml文件:

hadoop.tmp.dir file:/home/hadoop/app/hadoop/tmp Abase for other temporary directories.fs.defaultFShdfs://localhost:9000图片.png

2.修改hdfs-site.xml

dfs.replication1 dfs.namenode.name.dir file:/home/hadoop/app/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/home/hadoop/app/hadoop/tmp/dfs/data图片.png

Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(可参考官方教程),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。3.验证3.1 配置完之后,执行NameNode的格式化(该代码只在第一次配置完之后执行一次,每次执行都会重新格式化一次)

$ bin/hdfs namenode -format

3.2 启动namenode和datanode进程,并查看启动结果

$ sbin/start-dfs.sh$ jps

启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和“SecondaryNameNode”

图片.png3.3 也可以通过浏览器访问: http://localhost:50070/来验证hadoop是否启动成功。图片.png

至此,hadoop的安装就基本上完成了!需要使用YARN的话,还需要单独配置mapred-site.xml和yarn-site.xml文件。