Hadoop（一、环境搭建）

1、环境准备

1.1、centOS7：内核版本3.10.0-1160.49.1.el7.x86_64

1.2、关闭防火墙：systemctl disable firewalld

1.3、三台机器地址：192.168.137.129、192.168.137.130、192.168.137.131

1.4、三台机器的hostname：cat /etc/hostname

localhost.localdomain1

localhost.localdomain2

localhost.localdomain2

第一台虚拟机

第二台虚拟机

第三台虚拟机

1.5、配置hosts：vim /etc/hosts，添加如下内容

192.168.137.129 hp1 localhost.localdomain1

192.168.137.130 hp2 localhost.localdomain2

192.168.137.131 hp3 localhost.localdomain3

1.6、新建目录：

mkdir -p /export/server/

mkdir -p /export/data/

mkdir -p /export/software/

1.7、配置jdk环境：

通过yum安装的jdk

vim /etc/profile添加如下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

jdk环境配置

若配置java环境报此错误：Similar command is: ‘lz’，执行以下命令：

export PATH=/bin:/usr/bin:$PATH

2、hadoop配置

2.1、hadoop下载地址：https://archive.apache.org/dist/hadoop/common/

本篇下载的hadoop3.2.0版本

hadoop下载

2.2、本地hadoop-3.2.0.tar.gz上传到1.6新建的server目录中，并解压:

scp -r hadoop-3.2.0.tar.gz root@192.168.137.129:/export/server

tar -xvzf hadoop-3.2.0.tar.gz

2.3、配置hadoop

配置hadoop需要进入如下目录：/export/server/hadoop-3.2.0/etc/hadoop

2.3.1、配置hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

2.3.2、配置core-site.xml

<!– 默认使用文件系统 –>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hp1:8020</value>`

</property>

<!– 本地保存数据的路径 –>

<property>

<name>hadoop.tmp.dir</name>

<value>/export/data/hadoop-3.2.0</value>

</property>

<!– 设置HDFS web UI用户身份–>

<property>

<name>hadoop.http.staticuser.user</name>

<value>root</value>

</property>

<!– 整合hive用户代理设置–>

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

<!– 文件系统垃圾桶保存时间–>

<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>

2.3.3、配置hdfs-site.xml

<!– SNN进程运行机器位置信息 –>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hp2:9868</value>

</property>

2.3.4、配置mapred-site.xml

<!– MR程序默认运行模式：yarn集群模式 local本地模式 –>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<!– MR程序历史服务器地址 –>

<property>

<name>mapreduce.jobhistory.address</name>

<value>hp1:10020</value>

</property>

<!– MR程序历史服务器web端地址 –>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hp1:19888</value>

</property>

<property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

<property>

<name>yarn.app.mapreduce.env</name>

<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

2.3.5、配置yarn-site.xml

<!– YAREN集群主角色运行机器位置 –>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hp1</value>

</property>

<property>

<name>yarn.resourcemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!– 是否对容器实施物理内存限制 –>

<property>

<name>yarn.nodemanager.pmem-check-enabled</name>

<value>false</value>

</property>

<!– 是否对容器实施虚拟内存限制 –>

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

<!– 开启日志聚集 –>

<property>

<name>yarn.log-aggregation-enabled</name>

<value>true</value>

</property>

<!– yarn历史服务器地址 –>

<property>

<name>yarn.log.server.url</name>

<value>http://hp1:19888/jobhistory/logs</value>

</property>

<!– 历史日志保存7天 –>

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

2.3.6、配置workers

localhost.localdomain1

localhost.localdomain2

localhost.localdomain3

2.4、配置hadoop环境变量：vim /etc/prifile

export HADOOP_HOME=/export/server/hadoop-3.2.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

hadoop环境变量

2.5、免密登录设置

在192.168.137.129虚拟机上执行如下命令：

ssh-keygen -t rsa

ll -a

cd .ssh

ssh-copy-id -i id_rsa.pub root@192.168.137.129

ssh-copy-id -i id_rsa.pub root@192.168.137.130

ssh-copy-id -i id_rsa.pub root@192.168.137.131

2.6、进行格式化操作（NameNode format）

hdfs namenode -format

2.7、启动

start-dfs.sh

start-yarn.sh

2.8、停止

stop-all.sh

3、说明

三台虚拟机上都要进行【2、hadoop配置】配置

4、测试集群环境

4.1、查看hdfs：

http://192.168.137.129:9870

hdfs

4.2、查看yarn

http://192.168.137.129:8088

yarn

5、报错处理

5.1、ping 192.168.137.129正常，浏览器访问http://192.168.137.129:9870报错，就在hdfs-site.xml中配置如下：

<property>

<name>dfs.namenode.http-address</name>

<value>192.168.137.129:9870</value>

</property>

5.2、执行了多次hdfs namenode -forma命令，浏览器访问http://192.168.137.129:9870出现Live Nodes为0的情况，如下图：

图为修改之后的情况，这里举例说明

解决方法：将/export/data目录删除，再新建data目录。进入export目录（cd /export），删除data（rm -rf data），新建data（mkdir data）。所有虚拟机都要这么做。修改之前上图中的指标全部为0，修改之后就会与上图一样。