未加星标

腾讯云新一代企业级HTAP数据库TBase核心概念数据库

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二05 | 时间 | 作者 红领巾 ] 0人收藏点击收藏

腾讯云新一代企业级HTAP数据库TBase核心概念数据库
管理
腾讯云新一代企业级HTAP数据库TBase核心概念数据库
数据库
腾讯云新一代企业级HTAP数据库TBase核心概念数据库
存储
腾讯云新一代企业级HTAP数据库TBase核心概念数据库
安全
腾讯云新一代企业级HTAP数据库TBase核心概念数据库
集群

2017年,腾讯云PostgreSQL-XZ(PGXZ)正式改名为TBase,目前已经应用于政务、医疗、公安、消防、电信、金融等行业的十几家客户中。TBase以其功能强大,运行稳定以及强大的互联网基因得到客户的普遍认可。


2016年,基于腾讯云内外的需求变化,TBase的HTAP方案开始预研,目前已应用在包括微信支付、微众银行等多个客户中。2018年4月,TBase的HTAP方案完成开发。


TBase核心概念

TBase的重要的技术特性和概念,主要包括以下几个方面:


腾讯云新一代企业级HTAP数据库TBase核心概念数据库

TBase产品架构


腾讯云新一代企业级HTAP数据库TBase核心概念数据库

集群中有三种节点类型:

Coordinator:协调节点,对外提供接口,负责数据的分发和查询规划;在功能上CN上只存储系统的全局元数据,并不存储实际的业务数据。

Datanode:处理存储本节点相关的元数据,每个节点还存储数据的一个分片。在功能上,DN节点负责完成执行协调节点分发的执行请求。

GTM:全局事务管理器(Global transaction manager.),负责管理集群事务信息,同时管理集群的全局对象,例如序列,除此之外GTM上不提供其他的功能。


从TBase的架构可以看出如下优点:

写可扩展 (Write-Scalable ):通过部署多个CN,增加业务接入。

多主节点 (Multi-master ):系统的每个CN节点都可以发起写入操作,并都可以提供统一完整一致的数据库视图;

数据自动同步(Synchronous):对于业务来说,在一个CN节点的写入操作会立刻呈现在其他的CN节点上;

数据透明(Transparent):业务在通过CN查询数据库时,还是可以像使用普通的数据库一样编写SQL语句,不必关心数据位于具体的节点。


关键能力

HTAP能力

Hybrid Transactional/Analytical Processing,即事务和分析混合处理技术,需要一个可以同时高效处理OLTP和OLAP业务,而且兼顾易用性和低成本的HTAP分布式解决方案,并且考虑混合负载的资源隔离。如下是TBase的HTAP解决方案,架构如下:


腾讯云新一代企业级HTAP数据库TBase核心概念数据库

TBase把HTAP分为两种场景:

CASE 1,TBase的group隔离技术,在天然支持物理隔离,发挥高效的OLAP和海量OLTP能力。

CASE 2,TBase同样支持在一份数据上同时进行OLTP和OLAP两种类型的操作,并且也达成资源的隔离的效果。


TBase的HTAP性能指标

通过标准事务测试模型TPCC的benchmark测试结果(测试中只使用了常规通用的X86服务器)系统在每分钟完成的事务量超过310万,并且系统的事务吞吐量会随着集群规模准线性提升:



腾讯云新一代企业级HTAP数据库TBase核心概念数据库

下面这张图展示了TBase在行存储模式下和业界MPP数据仓库标杆在OLAP测试集TPCH 1T benchmark下的对比情况:


腾讯云新一代企业级HTAP数据库TBase核心概念数据库

通过HTAP技术,业务可以在单一的TBase集群中同时处理OLTP类交易和OLAP类分析。大幅度的减少业务系统的复杂度,降低运维成本。


高数据安全

在和客户交流的过程中,多个行业的客户都提到了数据安全的诉求,TBase团队结合客户的需求和业界先进的数据库安全解决方案设计了TBase的数据安全体系,定义为MLS(Multi-Level Security)。这个体系主要包含以下几个方面:


三权分立:把数据库系统DBA的角色分解为三个相互独立的角色,安全管理员,审计管理员,数据管理员,这个三个角色之间相互制约,消除出系统中的上帝权限,从系统角色设计上了解决了数据安全问题。


强制安全规则:结合业界先进的数据库安全解决方案,TBase提出了强制安全规则解决方案,通过安全管理员制定的强制安全规则,针对不同的用户做到权限的行列混合控制,有效的杜绝数据越权查看,保证关键数据的安全性。


透明数据脱敏管理:对于金融,公安行业等对数据安全有特殊要求,会有数据脱敏的诉求,TBase针对行业痛点,做到对业务的透明脱敏。

审计能力:审计是数据库关键能力,TBase在设计的过程中,结合业界设计了自身的审计系统,做到在兼顾高精准的审计粒度的同时还能保证系统的性能,同时具备审计结果的实时通知能力。


多租户能力

TBase提供集群级和集群用户级两个级别的多租户能力。通过集群级的多租户能力,可以帮助业务快速的建立一个数据库私有云,帮助客户快速提供基于TBase的DCDB(分布式数据库)服务。集群级的多租户能力架构如下图:


腾讯云新一代企业级HTAP数据库TBase核心概念数据库

除此之外,TBase数据库集群内部还提供基于节点组node group的集群内多租户解决方案,做到数据库集群内部的业务和资源隔离,多个业务在TBase内部相互隔离的运行。如下图所示。


腾讯云新一代企业级HTAP数据库TBase核心概念数据库

结语

当然,TBase还具有很多其它特性,在此不一一赘述。正是在这些能力的支撑下,TBase对于海量数据的OLAP分析类操作更是如鱼得水。TBase马上要和大家见面了,腾讯云团队的小伙伴们非常欢迎大家的交流和使用。


欢迎加入本站公开兴趣群

软件开发技术群

兴趣范围包括:Java,C/C++,pythonphp,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流

QQ群:204132433


Hadoop源代码研究群

兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop

QQ群:204050420

主题: 数据HadoopSQL腾讯数据库C++服务器Ruby开源PHP
tags: TBase,#160,HTAP,数据库,集群,节点,数据,OLAP,CN,租户,业务,OLTP,能力,隔离
分页:12
转载请注明
本文标题:腾讯云新一代企业级HTAP数据库TBase核心概念数据库
本站链接:http://www.codesec.net/view/576015.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(26)