大家好,欢迎来到IT知识分享网。
Hive官网地址:https://hive.apache.org/
cdh版Hive下载地址:http://archive.cloudera.com/cdh5/cdh/5/
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
一 下载
首先我们需要下载对应版本的tar.gz。
二 上传
使用WinSCP将刚刚下载的tar.gz上传到sparkproject1的/usr/local下。
三 解压
使用tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz命令解压,并使用mv命令将其重命名,然后删除tar.gz包。
四 配置环境变量
vi /etc/profile,配置完之后,我们使用source命令生效配置文件。
五 安装MySQL
1、在sparkproject1上安装mysql,使用yum安装mysql server。
# yum安装MySQL服务
yum install -y mysql-server
# 启动MySQL
service mysqld start
# 随机器启动
chkconfig mysqld on
IT知识分享网
2、使用yum安装mysql connector
IT知识分享网yum install -y mysql-connector-java
3、将mysql connector拷贝到hive的lib包中
cp /usr/share/java/mysql-connector-java-5.1.17.jar /usr/local/hive/lib
4、使用mysql命令进入mysql环境,上创建hive元数据库,创建hive账号,并进行授权
IT知识分享网create database if not exists hive_metadata;
grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive';
grant all privileges on hive_metadata.* to 'hive'@'localhost' identified by 'hive';
grant all privileges on hive_metadata.* to 'hive'@'sparkproject1' identified by 'hive';
flush privileges;
use hive_metadata;
六 配置hive-site.xml
在这里,我们主要是配置mysql的一些参数。(可能会有一些小伙伴找不到hive-site.xml文件在哪,hive没有直接提供这个文件,需要我们进入到hive_home/conf目录,将hive-default.xml.template修改为hive-site.xml)
七 配置hive-env.sh和hive-config.sh
mv hive-env.sh.template hive-env.sh
vi /usr/local/hive/bin/hive-config.sh
export JAVA_HOME=/usr/local/jdk1.8.0_181
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop
八 验证Hive是否安装成功
1、首先我们在/usr/local目录创建测试文件users.txt
2、使用hive命令,进入hive命令行
3、创建users表, 并加载本地的users.txt到users表,使用select查询。
我们浏览器访问sparkproject1:8088,可以看到有一个应用程序在运行。
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/6160.html