Apache Pulsar:实时数据处理中消息、计算和存储的统一分布式系统
存储
Apache Pulsar:实时数据处理中消息、计算和存储的统一分布式系统
Hadoop
Apache Pulsar:实时数据处理中消息、计算和存储的统一分布式系统
分布式
Apache Pulsar:实时数据处理中消息、计算和存储的统一分布式系统
开源
Apache Pulsar:实时数据处理中消息、计算和存储的统一分布式系统
实时数据

本文来自于 QCon 北京2018全球开发者大会,作者翟佳,其毕业于中科院计算所,目前就职于一家下一代实时处理初创公司Streamlio,是Streamlio的核心创始成员之一。在此之前任职于EMC,是北京EMC实时处理平台的技术负责人。主要从事实时计算和分布式存储系统的相关开发,是开源项目Apache BookKeeper PMC Member和Committer,也在Apache Pulsar, Distributedlog等项目中持续贡献代码。


实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中,Messaging,Computing和Storage三个部分的分离,给方案的实现带来了高复杂性,低可维护性,低效率等问题。


本次演讲将介绍Apache Pulsar,并展示Apache Pulsar怎样从这三个方面,提供一个端到端的实时数据解决方案。


Messaging:Pulsar对pub/sub和queue两种模式提供统一的支持,同时保证了一致性,高性能和易扩展性。


Computing:Pulsar内部的Pulsar-Functions提供了Stream-native的轻量级计算框架,保证了数据的即时流式处理。


Storage:Pulsar借助Apache BookKeeper提供了以segment为中心的存储架构,保证了存储的性能,持久性和弹性。


Apache Pulsar 在2016年开源,是Streamlio,阿里巴巴,和滴滴出行等公司一同起草的全球消息领域标准 OpenMessaging 的重要成员。希望通过这次分享,能够为大家带来对Apache Pulsar及其生态系统有更好的理解,和对pub/sub消息系统,实时处理系统的更多的认识。本文将主要介绍以下内容:

了解实时处理的三部分的特点和需求;

理解Apache Pulsar的特性和优势。


欢迎加入本站公开兴趣群

软件开发技术群

兴趣范围包括:Java,C/C++,pythonphp,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流

QQ群:204132433


Hadoop源代码研究群

兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop

QQ群:204050420

tags: Pulsar,Apache,实时,实时处理,开源,Streamlio,Hadoop,分布式,存储,EMC,BookKeeper,Computing,Storage,Messaging
分页:12
转载请注明
本文标题:Apache Pulsar:实时数据处理中消息、计算和存储的统一分布式系统
本站链接:http://www.codesec.net/view/576521.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(40)