入门大数据必会系列——Hive环境安装[通俗易懂]

入门大数据必会系列——Hive环境安装[通俗易懂]**术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。因此,Apache软件基金会推出了一款名为Hadoop的

大家好,欢迎来到IT知识分享网。

入门大数据必会系列——Hive环境安装[通俗易懂]

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。使用传统的数据管理系统,它是难以加工大型数据。因此,Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。

入门大数据必会系列——Hive环境安装[通俗易懂]

Hive源码包下载

http://mirror.bit.edu.cn/apache/hive/

1. 集群环境

Master 172.16.11.97

Slave1 172.16.11.98

Slave2 172.16.11.99

2. 下载软件包

#Master

wget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

tar zxvf apache-hive-1.2.2-bin.tar.gz

3. 修改Hive配置文件

#Master

cd apache-hive-1.2.2-bin/conf

vim hive.xml

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hadoop</value>

</property>

</configuration>

4. 增加环境变量

#Master、Slave1、Slave2

vim ~/.bashrc

export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin

export PATH=$HIVE_HOME/bin:$PATH

#刷新环境变量

source ~/.bashrc

5. 安装MySQL

#Master

yum -y install mysql-server

chkconfig –add mysql

service mysqld start

mysqladmin -uroot password hadoop

6. 安装MySQL连接工具

#Master

1)下载安装包

wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.44.tar.gz

tar zxvf mysql-connector-java-5.1.44.tar.gz

2)复制连接库文件

cp mysql-connector-java-5.1.44/mysql-connector-java-5.1.44-bin.jar /usr/local/src/apache-hive-1.2.2-bin/lib

7. 拷贝安装包

#Slave1、Slave2

scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave1:/usr/local/src/apache-hive-1.2.2-bin

scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave2:/usr/local/src/apache-hive-1.2.2-bin

8. 启动Hive服务

#Master

hive

欢迎爱技术爱总结的小伙伴私信投稿,后续继续给大家分享,编辑中如有错误也欢迎大家批评指正。

我是小媛(#^.^#),如果你觉得我的内容还不错,记得关注收藏,更多大数据行业资讯,技术干货等着你的学习。

入门大数据必会系列——Hive环境安装[通俗易懂]

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/6186.html

(0)
上一篇 2022-12-17 18:20
下一篇 2022-12-17 18:40

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信