Hive安装Version2.1.0

 2023-09-11 阅读 19 评论 0

摘要:Hive安装,基于版本2.1.0, 使用apache-hive-2.1.0-bin.tar.gz安装包。 1.安装规划 角色规划IP/机器名安装软件运行进程hivezdh-9hiveRunJar(metastore),RunJar(hiveserver2)2.安装用户 hive/zdh1234 3.配置hosts 10.43.159.9 zdh-9 4.安装依赖 4.1.JDK配置 expo

Hive安装,基于版本2.1.0,
使用apache-hive-2.1.0-bin.tar.gz安装包。

1.安装规划

角色规划IP/机器名安装软件运行进程
hivezdh-9hiveRunJar(metastore),RunJar(hiveserver2)

2.安装用户

hive/zdh1234

3.配置hosts

10.43.159.9 zdh-9

4.安装依赖

4.1.JDK配置

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.2.Hadoop集群

hdfs://gagcluster
NameNode1:hdfs://10.43.159.7:9000
NameNode2:hdfs://10.43.159.9:9000

4.3.Mysql数据库

Unix:mysql/zdh1234
mysql:root/zdh1234
Link: zdh-9:3306

5.在zdh-9上面创建hive用户

useradd -g hadoop -s /bin/bash -md /home/hive hive

6.上传并且解压安装包

tar -zxvf apache-hive-2.1.0-bin.tar.gz

7.配置环境变量

Hive官网、安装并且配置JDK

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

配置Hive环境变量和别名,方便操作

export HIVE_HOME=~/apache-hive-2.1.0-bin
export PATH=$PATH:$HIVE_HOME/bin
alias logs='cd $HIVE_HOME/logs'
alias conf='cd $HIVE_HOME/conf'

8.拷贝相关jar包

拷贝mysql的jdbc驱动包到hive的lib目录下面,mysql的驱动包需要自己下载
cp /usr/share/java/mysql-connector-java.jar ~/apache-hive-2.1.0-bin/lib/
拷贝hive的jdbc目录下hive-jdbc-2.1.0-standalone.jar到lib目录下,否则执行beeline报错
cp hive-jdbc-2.1.0-standalone.jar ../lib/

9.从模板获得配置文件

进入conf目录把所有带template后缀的文件,移除后缀:
rename .template "" *.template
再把hive-default.xml重命名为hive-site.xml:
mv hive-default.xml hive-site.xml

10.修改hive-env.sh配置项

export HADOOP_HOME=/home/hdfs/hadoop-2.7.1
export HIVE_CONF_DIR=/home/hive/apache-hive-2.1.0-bin/conf
主要是配置hadoop的目录,且hive启动前hdfs需要已经启动。

11.修改hive-site.xml的配置项

<property><name>hive.exec.local.scratchdir</name><value>/home/hive/apache-hive-2.1.0-bin/tmp</value><description>Local scratch space for Hive jobs</description>
</property>
<property><name>hive.downloaded.resources.dir</name><value>/home/hive/apache-hive-2.1.0-bin/tmp/resources</value><description>Temporary local directory for added resources in the remote file system.</description>
</property>
<property><name>hive.metastore.warehouse.dir</name><value>/home/hive/apache-hive-2.1.0-bin/warehouse</value>
</property>
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property>
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://zdh-9:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property>
<property><name>javax.jdo.option.ConnectionPassword</name><value>zdh1234</value>
</property>
<property><name>datanucleus.autoCreateSchema</name><value>true</value><description>creates necessary schema on a startup if one doesn't exist. set this to false, after creating it once</description>
</property>
<property><name>datanucleus.fixedDatastore</name><value>false</value>
</property>
<property><name>datanucleus.schema.autoCreateAll</name><value>true</value>
</property>

上面主要是配置hive的元数据使用mysql存储,配置mysql的一些连接。

12.在mysql预先创建数据库以及用户

HIVE OS、创建一个数据库
CREATE DATABASE hive;
使用已经存在的root@zdh-9用户,并且设置相应的密码

update mysql.user set password=password("zdh1234") where user="root" and host='zdh-9';

或者使用root用户新建hive用户,
注意修改hive-site.xml中的数据库用户名密码,
保证配置项正确。

13.执行脚本,初始化数据库schema如下:

schematool -initSchema -dbType mysql

14.启动hive

hive
通过jps可以看到新进程RunJar

15.执行测试命令

测试hive创建表格,使用hive命令行:
hive
create table student(name string,sex string,age int);
show tables;
desc student;
exit;

查看mysql数据库hive中创建的表格在元数据库中有相应更新
select * from TBLS;
若查询到TBLS表中TBL_NAME的内容有student,
则说明刚才在hive命令行中创建的表格student的元数据更新到MySql中了。

16.启动hive server2

后台启动metastore服务和hiveserver2服务

Hive和Hadoop关系,hive --service metastore > metastore.log 2>&1 &
hive --service hiveserver2 > hiveserver2.log 2>&1 &
或者
nohup hive --service metastore&
nohup hive --service hiveserver2&

17.使用beeline命令行测试

beeline
!connect jdbc:hive2://zdh-9:10000/default
用户名和密码都为空,直接回车;
成功进入beeline连接jdbc数据库,
执行命令查看default默认数据库和库中的表,
以及查看student表结构:

show databases;
show tables;
desc student;

退出连接:
!q

18.报错处理

User: hive is not allowed to impersonate anonymous (state=,code=0)
修改hadoop的core-site.xml中的配置文件如下,里面需要设置hive用户的代理,并且重启hdfs。

<property><name>hadoop.proxyuser.hive.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hive.groups</name><value>*</value>
</property>

版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/2/47840.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息