未加星标

大数据学习系列之五 ----- Hive整合HBase图文详解

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二04 | 时间 2017 | 作者 红领巾 ] 0人收藏点击收藏
引言

在上一篇大数据学习系列之四 ----- hadoop+Hive环境搭建图文详解(单机)和之前的大数据学习系列之二 ----- HBase环境搭建(单机)中成功搭建了Hive和HBase的环境,并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。

Hive和HBase的通信意图

Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现,通信原理如下图所示。

大数据学习系列之五 ----- Hive整合HBase图文详解

Hive整合HBase后的使用场景:

(一)通过Hive把数据加载到HBase中,数据源可以是文件也可以是Hive中的表。

(二)通过整合,让HBase支持JOIN、GROUP等SQL查询语法。

(三)通过整合,不仅可完成HBase的数据实时查询,也可以使用Hive查询HBase中的数据完成复杂的数据分析。

一、环境选择
1,服务器选择

本地虚拟机

操作系统:linux CentOS 7

Cpu:2核

内存:2G

硬盘:40G

2,配置选择

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)

Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)

Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)

HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

3,下载地址

官网地址

JDK:

http://www.oracle.com/technetwork/java/javase/downloads

Hadopp:

http://www.apache.org/dyn/closer.cgi/hadoop/common

Hive

http://mirror.bit.edu.cn/apache/hive/

HBase:

http://mirror.bit.edu.cn/apache/hbase/

百度云盘

链接:https://pan.baidu.com/s/1jIemIDC密码:uycu

二、服务器的相关配置

在配置Hadoop+Hive+HBase之前,应该先做一下配置。

做这些配置为了方便,使用root权限。

1,更改主机名

首先更改主机名,目的是为了方便管理。

输入:

hostname

查看本机的名称

然后更改主机名为master

输入:

hostnamectl set-hostname master
注:主机名称更改之后,要重启(reboot)才会生效。
2,做IP和主机名的映射

修改hosts文件,做关系映射

输入

vim /etc/hosts

添加

主机的ip 和 主机名称

192.168.238.128 master
3,关闭防火墙

关闭防火墙,方便访问。

CentOS 7版本以下输入:

关闭防火墙

service iptables stop
CentOS 7 以上的版本输入:
systemctl stop firewalld.service
4,时间设置

查看当前时间

输入:

date

查看服务器时间是否一致,若不一致则更改

更改时间命令

date -s ‘MMDDhhmmYYYY.ss’
5,整体的环境配置

/etc/profile 的整体配置

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2
# Spark Config
export SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive
# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4
# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2
# Hadoop Config
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH
大数据学习系列之五 ----- Hive整合HBase图文详解
注:具体的配置以自己的为准,没有的不用配置。
三、Hadoop的环境配置

Hadoop的具体配置在大数据学习系列之一 ----- Hadoop环境搭建(单机)中介绍得很详细了。所以本文就大体介绍一下。

注:具体配置以自己的为准。

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
2,配置文件更改

先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为自己的JDK路径

export JAVA_HOME=${JAVA_HOME}

修改为:

export JAVA_HOME=/home/java/jdk1.8
3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
3.2.4 修改mapred-site.xml

如果没有 mapred-site.xml 该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。

输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件,在

主题: HBaseHiveHadoop服务器数据硬盘SparkSQLJavaScala
tags: gt,lt,HOME,name,HBase,HADOOP,property,Hive,hadoop,value,bin,site,xml,JAVA,opt
分页:12
转载请注明
本文标题:大数据学习系列之五 ----- Hive整合HBase图文详解
本站链接:http://www.codesec.net/view/570233.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(66)