大数据学习不能停,看看如何安装hive,动手搭建Hadoop(9)[通俗易懂]

大数据学习不能停,看看如何安装hive,动手搭建Hadoop(9)[通俗易懂]01ssh免密安装02jdk安装03hadoop伪分布式安装04hadoop全分布式05hadoop高可用06用hadoop的sdk进行开发07

大家好,欢迎来到IT知识分享网。

01 ssh免密安装

02 jdk安装

03 hadoop伪分布式安装

04 hadoop全分布式

05 hadoop高可用

06 用hadoop的sdk进行开发

07 搭建yarn

08 mapreduce简单程序

大数据学习不能停,看看如何安装hive,动手搭建Hadoop(9)[通俗易懂]

毕竟编写mapreduce的代码来完成数据的查询比较麻烦,可以通过hive来查询数据。今天我们来搭建hive,看看我们如何做呢?

mysql 安装

通过yum命令安装mysql服务器

yum install -y mysql-server

启动mysql服务,并且设置开机自动启动服务。

service mysqld start

chkconfig mysql on

设置用户和对应的密码

进入mysql数据库

mysql

选择mysql数据库

use mysql

查看user 表的内容

select host,user,password from user;

大数据学习不能停,看看如何安装hive,动手搭建Hadoop(9)[通俗易懂]

这里我们需要添加新的用户root,设置密码为123。并且把已经存在的用户删除。

GRANT ALL PRIVILEGES ON *.* TO ‘root’@’%’ IDENTIFIED BY ‘123’ WITH GRANT OPTION;

delete from user where host !=’%’;

flush privileges;

大数据学习不能停,看看如何安装hive,动手搭建Hadoop(9)[通俗易懂]

多了一条记录,并且对所有IP都可以访问。退出以后再次登录mysql

quit

mysql -uroot -p

输入密码123以后登录完成

hive安装

首先把hive的安装包和mysql connector拷贝到指定的节点目录,我这里是拷贝到 /opt/software 下面

大数据学习不能停,看看如何安装hive,动手搭建Hadoop(9)[通俗易懂]

解压hive到指定目录

cd /opt/software

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/

对配置文件进行修改

修改profile文件,定义hive的路径并且加入到path里面去。

vi /etc/profile

export HIVE_HOME=/usr/apache-hive-1.2.1-bin

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

source /etc/profile

修改hive的conf目录下的配置文件,把hive-default.xml.template 文件修改成 hive-site.xml 文件再把下面的配置内容添加进去。每个xml节点的含义看注释。

mv hive-default.xml.template hive-site.xml

//hive文件上传的目录

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/var/hive_remote/warehouse</value>

</property>

//是否本地存储

<property>

<name>hive.metastore.local</name>

<value>false</value>

</property>

//存放原数据的mysql的链接方式当没有数据库的时候建立对应的数据库,这里我们的数据建立在node01上面

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://node01/hive_remote?createDatabaseIfNotExist=true</value>

</property>

//数据库连接驱动

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

//数据名字

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

//数据库密码

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123</value>

</property>

把mysql驱动包拷贝到hive目录中,这样hive就可以访问mysql存取hive的原数据了。

cp /opt/software/mysql-connector-java-5.1.32-bin.jar /usr/apache-hive-1.2.1-bin/lib/

完成以后通过hive命令启动hive。

如果喜欢请关注。下期说说如何使用hive

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/6196.html

(0)
上一篇 2022-12-17 16:40
下一篇 2022-12-17 17:00

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信