Hive安装,基于版本2.1.0,
使用apache-hive-2.1.0-bin.tar.gz安装包。
角色规划 | IP/机器名 | 安装软件 | 运行进程 |
---|---|---|---|
hive | zdh-9 | hive | RunJar(metastore),RunJar(hiveserver2) |
hive/zdh1234
10.43.159.9 zdh-9
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
hdfs://gagcluster
NameNode1:hdfs://10.43.159.7:9000
NameNode2:hdfs://10.43.159.9:9000
Unix:mysql/zdh1234
mysql:root/zdh1234
Link: zdh-9:3306
useradd -g hadoop -s /bin/bash -md /home/hive hive
tar -zxvf apache-hive-2.1.0-bin.tar.gz
Hive官网、安装并且配置JDK
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
配置Hive环境变量和别名,方便操作
export HIVE_HOME=~/apache-hive-2.1.0-bin
export PATH=$PATH:$HIVE_HOME/bin
alias logs='cd $HIVE_HOME/logs'
alias conf='cd $HIVE_HOME/conf'
拷贝mysql的jdbc驱动包到hive的lib目录下面,mysql的驱动包需要自己下载
cp /usr/share/java/mysql-connector-java.jar ~/apache-hive-2.1.0-bin/lib/
拷贝hive的jdbc目录下hive-jdbc-2.1.0-standalone.jar到lib目录下,否则执行beeline报错
cp hive-jdbc-2.1.0-standalone.jar ../lib/
进入conf目录把所有带template后缀的文件,移除后缀:
rename .template "" *.template
再把hive-default.xml重命名为hive-site.xml:
mv hive-default.xml hive-site.xml
export HADOOP_HOME=/home/hdfs/hadoop-2.7.1
export HIVE_CONF_DIR=/home/hive/apache-hive-2.1.0-bin/conf
主要是配置hadoop的目录,且hive启动前hdfs需要已经启动。
<property><name>hive.exec.local.scratchdir</name><value>/home/hive/apache-hive-2.1.0-bin/tmp</value><description>Local scratch space for Hive jobs</description>
</property>
<property><name>hive.downloaded.resources.dir</name><value>/home/hive/apache-hive-2.1.0-bin/tmp/resources</value><description>Temporary local directory for added resources in the remote file system.</description>
</property>
<property><name>hive.metastore.warehouse.dir</name><value>/home/hive/apache-hive-2.1.0-bin/warehouse</value>
</property>
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property>
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://zdh-9:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property>
<property><name>javax.jdo.option.ConnectionPassword</name><value>zdh1234</value>
</property>
<property><name>datanucleus.autoCreateSchema</name><value>true</value><description>creates necessary schema on a startup if one doesn't exist. set this to false, after creating it once</description>
</property>
<property><name>datanucleus.fixedDatastore</name><value>false</value>
</property>
<property><name>datanucleus.schema.autoCreateAll</name><value>true</value>
</property>
上面主要是配置hive的元数据使用mysql存储,配置mysql的一些连接。
HIVE OS、创建一个数据库
CREATE DATABASE hive;
使用已经存在的root@zdh-9用户,并且设置相应的密码
update mysql.user set password=password("zdh1234") where user="root" and host='zdh-9';
或者使用root用户新建hive用户,
注意修改hive-site.xml中的数据库用户名密码,
保证配置项正确。
schematool -initSchema -dbType mysql
hive
通过jps可以看到新进程RunJar
测试hive创建表格,使用hive命令行:
hive
create table student(name string,sex string,age int);
show tables;
desc student;
exit;
查看mysql数据库hive中创建的表格在元数据库中有相应更新
select * from TBLS;
若查询到TBLS表中TBL_NAME的内容有student,
则说明刚才在hive命令行中创建的表格student的元数据更新到MySql中了。
Hive和Hadoop关系,hive --service metastore > metastore.log 2>&1 &
hive --service hiveserver2 > hiveserver2.log 2>&1 &
或者
nohup hive --service metastore&
nohup hive --service hiveserver2&
beeline
!connect jdbc:hive2://zdh-9:10000/default
用户名和密码都为空,直接回车;
成功进入beeline连接jdbc数据库,
执行命令查看default默认数据库和库中的表,
以及查看student表结构:
show databases;
show tables;
desc student;
退出连接:
!q
User: hive is not allowed to impersonate anonymous (state=,code=0)
修改hadoop的core-site.xml中的配置文件如下,里面需要设置hive用户的代理,并且重启hdfs。
<property><name>hadoop.proxyuser.hive.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hive.groups</name><value>*</value>
</property>
版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。
工作时间:8:00-18:00
客服电话
电子邮件
admin@qq.com
扫码二维码
获取最新动态