未加星标

Apache Kylin:基于Hadoop的OLAP引擎

字体大小 | |
[数据库(综合) 所属分类 数据库(综合) | 发布者 店小二05 | 时间 2016 | 作者 红领巾 ] 0人收藏点击收藏

传统上,Hadoop(包括MapReduce,Pig以及Hive)通常用于外部私有 OLAP Cube 引擎准备数据。如今,Zaloni的客户基于 Apache Kylin 的OLAP技术实现了实时查询的能力,这些Cube的事实表包含了400亿条以上的原始数据。我们正在帮助客户统一归集来自于多个独立系统的账单数据,并构建OLAP Cube以支持实时分析,这是以前系统所无法实现的。现在,Hadoop集群都可以做到了。

基于Hadoop的分析演化

Hadoop已经从通用计算能力(MapReduce)的分布式数据平台演化为一个更强大的平台。Hadoop及其生态系统已经有能力处理更广泛的用例,远超最初设计时的低成本分布式批处理能力。支持了从迭代式的机器学习算法,到 OLAP 及 OLTP 系统,这些基于“hadoop集群”的开源分析能力给传统的大玩家们(Oralce,SAS,Teradata,IBM等)带来了很大的压力。

为规模设计

Apache Kylin是开源的多维在线分析处理引擎(MOLAP),名字来源于中国的一种神兽“麒麟”。项目最初诞生于eBay,专为分析处理PB级数据集而设计。这里引用一段 Apache 基金会2015年12月的Blog :“Apche Kylin是目前为止大数据领域最好的OLAP引擎”,eBay数据服务与解决方案部门高级总监Wilson Pang说到,“在eBay,我们收集用户在每一个页面的每一个行为。当其他OLAP引擎挣扎于数据量的极大膨胀时,Kylin可以在毫秒级获得查询响应。除此之外,基于Kylin我们还实现了近实时的数据流存储和分析。总之,Kylin在eBay产品分析平台中扮演了至关重要的后台核心组件角色。”

如何工作

Kylin通过预计算实现查询速度的提升,利用 Hive 查询计算多个维度的组合(译者注:此处原文有误,正确应为,Kylin是通过Hive获取数据源,并利用MapReduce计算多个维度的任意组合),计算各类指标的聚合值,并将这些中间结果保存在 HBase 中。Kylin拥有用户友好的查询界面,也支持通过API和JDBC、ODBC提交查询。查询引擎基于 Apache Calcite 查询处理器和HBase的检索功能(比如fuzzy row filters)实现结果集快速获取。HBase的rowkeys利用 Trie Data Structure 技术实现维度字段字典数据的高效压缩。

当前,Kylin只支持 星型模型 ,因此每个Cube只能有单一的事实表。

建模向导

设计Cube很容易。假设你已经有了一张Hive的表,建模向导将帮助你一步步走完设计的流程,包括选择维度(包括层级维度),选择维表,选择指标等。也支持按照日期时间分区,使得Cube分段刷新易如反掌,这广泛用在了流数据的增量式构建。一旦Cube定义好了,我们通过Kylin的监控界面查看Cube的构建进度。

除了原生的Kylin Web界面,你可以通过JDBC查询OLAP Cube,也可以通过Zeppelin(Zeppelin已经内置了Kylin的解释器),或者设计良好的REST API。

基于Hadoop的OLAP的其他选项

Kylin是基于Hadoop的OLAP技术的一个开源选项。 Apache Lens 是另一个,它是一个 ROLAP 解决方案,并不能实现Kylin这种预计算技术所能达到的快速查询响应能力。 Druid 也是一个选项,它采用了自己的集群技术(并不依赖Hadoop)。也有一些第三方的解决方案,声称支持Hadoop之上的OLAP能力。

作者:Craig Lukasi,本文已获翻译授权。

查看英文原文 : http://blog.zaloni.com/apache-kylin-for-olap-on-hadoop

译者:刘一鸣(BillyLiu), 现任Kyligence产品负责人,负责Apache Kylin企业级版本及其他产品的规划和设计。Kyligence是由Apache Kylin核心团队创立的创业公司。

本文数据库(综合)相关术语:系统安全软件

主题: HadoopHiveHBaseMapReduce开源数据算法RESTeBayIBM
分页:12
转载请注明
本文标题:Apache Kylin:基于Hadoop的OLAP引擎
本站链接:http://www.codesec.net/view/483696.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 数据库(综合) | 评论(0) | 阅读(28)