未加星标

Hive和HBase整合

字体大小 | |
[数据库(综合) 所属分类 数据库(综合) | 发布者 店小二04 | 时间 2016 | 作者 红领巾 ] 0人收藏点击收藏

Hive和Hbase有各自不同的特征:hive是高延迟、结构化和面向分析的,hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。

Hive继承HBase可以有效利用HBase数据库的存储特性,如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive集成HBase需要在Hive表和HBase表之间建立映射关系,也就是Hive表的列和列类型与HBase表的列族及列限定词建立关联。每一个在Hive表中的域都存在与HBase中,而在Hive表中不需要包含所有HBase中的列。HBase中的rowkey对应到Hive中为选择一个域使用 :key 来对应,列族(cf:)映射到Hive中的其他所有域,列为(cf:cq)。

下面来简单实战下:

创建HBase表

create 'user1',{NAME => 'info',VERSIONS => 1}

向user表中插入一些数据

put 'user1','1','info:name','zhangsan'
put 'user1','1','info:age','25'
put 'user1','2','info:name','lisi'
put 'user1','2','info:age','22'
put 'user1','3','info:name','wangswu'
put 'user1','3','info:age','21'

使用scan命令来查看下user表中的数据

scan 'user';

结果如下

ROW COLUMN+CELL

1 column=info:age, timestamp=1476773051604, value=25

1 column=info:name, timestamp=1476773046344, value=zhangsan

2 column=info:age, timestamp=1476773051685, value=22

2 column=info:name, timestamp=1476773051661, value=lisi

3 column=info:age, timestamp=1476773052632, value=21

3 column=info:name, timestamp=1476773051709, value=wangswu

3 row(s) in 0.0610 seconds

创建Hive中与HBase中对应的表

SET hbase.zookeeper.quorum=hadoop001;
SET zookeeper.znode.parent=/hbase;
ADD jar /opt/bigdata/hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar;
// user1表
CREATE EXTERNAL TABLE user1 (
rowkey string,
info map<STRING,STRING>
) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:")
TBLPROPERTIES ("hbase.table.name" = "user1");
// user2表
CREATE EXTERNAL TABLE user2 (
rowkey string,
name string,
age int
) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age")
TBLPROPERTIES ("hbase.table.name" = "user2");

查询user1,user2表数据

查询user1表数据

select * from user1;

结果如下

OK
1 {"age":"25","name":"zhangsan"}
2 {"age":"22","name":"lisi"}
3 {"age":"21","name":"wangswu"}
Time taken: 0.467 seconds, Fetched: 3 row(s)

查询user2表数据

select * from user2;

结果如下:

OK

1 zhangsan 25

2 lisi 22

3 wangswu 21

Time taken: 0.087 seconds, Fetched: 3 row(s)

hive插入数据到hbase

INSERT INTO TABLE user1
SELECT '4' AS rowkey,
map('name','lijin','age','22') AS info
from dual limit 1;

在Hive中构造dual表可以参考这里

本文数据库(综合)相关术语:系统安全软件

主题: HBaseHive数据TI数据仓库数据库
分页:12
转载请注明
本文标题:Hive和HBase整合
本站链接:http://www.codesec.net/view/485575.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 数据库(综合) | 评论(0) | 阅读(26)