Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下安装Hadoop工具下载地址:点击打开链接密码:yk9u二、jdk安装1.不会看这里点击打开链接三、Hadoop环境配置1。

一、下载所需文件

1.JDK下载地址:点击打开链接

2.Hadoop下载地址:点击打开链接

3.Windows下安装Hadoop工具下载地址:点击打开链接 密码:yk9u

二、jdk安装

1.不会看这里点击打开链接

三、Hadoop环境配置

1.下载Hadoop,并解压到你的本地目录,我下载的是hadoop-2.5.2版本,解压在D:\hadoop\hadoop-2.5.2。

四、配置Hadoop的环境变量

1.计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME

注意:路径到bin的上级目录即可。

2.Path环境变量下配置【%HADOOP_HOME%\bin;】变量

五、配置Hadoop文件

1.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”下的core-site.xml文件,将下列文本粘贴进去,并保存。

<configuration>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/D:/hadoop/workplace/tmp</value>
 </property>
 <property>
 <name>dfs.name.dir</name>
 <value>/D:/hadoop/workplace/name</value>
 </property>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://localhost:9000</value>
 </property>
</configuration>

2.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件,粘贴一下内容并保存。

<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 <property>
 <name>mapred.job.tracker</name>
 <value>hdfs://localhost:9001</value>
 </property>
</configuration>

3.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的hdfs-site.xml文件,粘贴以下内容并保存。

<configuration>
 <!-- 这个参数设置为1,因为是单机版hadoop -->
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
 <property>
 <name>dfs.data.dir</name>
 <value>/D:/hadoop/workplace/data</value>
 </property>
</configuration>

4.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的yarn-site.xml文件,粘贴以下内容并保存。

<configuration>
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
</configuration>

5.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存。

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\java\jdk

六、替换文件

将1.3下载到的hadooponwindows-master.zip,解压,将全部bin目录文件替换至hadoop目录下的bin目录。

七、运行环境

1.运行cmd窗口,执行hdfs namenode -format。

2.运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd,它将会启动以下4个进程窗口。

八、上传测试

根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了。

1.创建输入目录

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/
 
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

2.上传数据到目录

C:\WINDOWS\system32>hadoop fs -put D:\personal\debug.log hdfs://localhost:9000/user/wcinput
 
C:\WINDOWS\system32>hadoop fs -put D:\personal\waz.txt hdfs://localhost:9000/user/wcinput

3.查看文件

QA常见问题:

1:启动hadoop可能提示找不到JAVA_HOME路径,是因为hadoop读取JAVA_HOME环境变量存在空格导致。

2:启动hadoop提示找不到HADOOP,是因为Hadoop环境变量没有配置好,请检查Hadoop环境变量配置。

hadoop自带的web控制台GUI

1.资源管理GUI:http://localhost:8088/;

Windows下搭建hadoop 搭建本地hadoop开发环境

2.节点管理GUI:http://localhost:50070/

Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下搭建hadoop 搭建本地hadoop开发环境

Windows下搭建hadoop 搭建本地hadoop开发环境

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/5461.html

(0)
上一篇 2022-12-13 23:16
下一篇 2022-12-13 23:16

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信