大家好,欢迎来到IT知识分享网。
02 jdk安装
03 hadoop伪分布式安装
04 hadoop全分布式
05 hadoop高可用
06 用hadoop的sdk进行开发
07 搭建yarn
08 mapreduce简单程序
毕竟编写mapreduce的代码来完成数据的查询比较麻烦,可以通过hive来查询数据。今天我们来搭建hive,看看我们如何做呢?
mysql 安装
通过yum命令安装mysql服务器
yum install -y mysql-server
启动mysql服务,并且设置开机自动启动服务。
service mysqld start
chkconfig mysql on
设置用户和对应的密码
进入mysql数据库
mysql
选择mysql数据库
use mysql
查看user 表的内容
select host,user,password from user;
这里我们需要添加新的用户root,设置密码为123。并且把已经存在的用户删除。
GRANT ALL PRIVILEGES ON *.* TO ‘root’@’%’ IDENTIFIED BY ‘123’ WITH GRANT OPTION;
delete from user where host !=’%’;
flush privileges;
多了一条记录,并且对所有IP都可以访问。退出以后再次登录mysql
quit
mysql -uroot -p
输入密码123以后登录完成
hive安装
首先把hive的安装包和mysql connector拷贝到指定的节点目录,我这里是拷贝到 /opt/software 下面
解压hive到指定目录
cd /opt/software
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/
对配置文件进行修改
修改profile文件,定义hive的路径并且加入到path里面去。
vi /etc/profile
export HIVE_HOME=/usr/apache-hive-1.2.1-bin
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
source /etc/profile
修改hive的conf目录下的配置文件,把hive-default.xml.template 文件修改成 hive-site.xml 文件再把下面的配置内容添加进去。每个xml节点的含义看注释。
mv hive-default.xml.template hive-site.xml
//hive文件上传的目录
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/var/hive_remote/warehouse</value>
</property>
//是否本地存储
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
//存放原数据的mysql的链接方式当没有数据库的时候建立对应的数据库,这里我们的数据建立在node01上面
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node01/hive_remote?createDatabaseIfNotExist=true</value>
</property>
//数据库连接驱动
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
//数据名字
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
//数据库密码
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
</property>
把mysql驱动包拷贝到hive目录中,这样hive就可以访问mysql存取hive的原数据了。
cp /opt/software/mysql-connector-java-5.1.32-bin.jar /usr/apache-hive-1.2.1-bin/lib/
完成以后通过hive命令启动hive。
如果喜欢请关注。下期说说如何使用hive
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/6196.html