基于云原生消息系统,构建实时数仓

所属专题:助力工程落地

嘉宾 : 刘德志 | StreamNative工程师

会议室 : 富力8+9

讲师介绍

专题演讲嘉宾:刘德志

StreamNative工程师

Apache Pulsar Committer,前腾讯计费平台技术专家。曾任职腾讯,负责腾讯计费平台架构与技术方案实施,并主导了腾讯云 TDMQ for Pulsar 产品落地实施,拥有丰富的消息中间件开发与运维经验。活跃于最新一代云原生消息中间件开源项目 Apache Pulsar 社区,对消息和流系统拥有独特的洞察与思考、以及丰富的行业实践沉淀。

议题介绍

演讲:基于云原生消息系统,构建实时数仓

Apache Pulsar 天然云原生,采用存储和计算分离的架构。它不仅可以支撑很多 MQ 的关键业务场景,不丢消息、提供强一致性保障,又可以提供流场景下的高带宽、低延迟。Apache Flink 将批流处理统一到计算引擎中,提供了一致化的编程接口。同时支持批流,使得 Pulsar 和 Flink 先天就是契合的伙伴。Pulsar Flink Connector 将 Pulsar 与 Flink 的功能进行整合,创建了一个统一的数据架构,是批流一体的最佳解决方案。

基于数据湖的实时数仓架构实现了存储层的流批统一,以更高的数据准确性和更低成本受到开发者与用户的青睐。随着越来越多的开发者寻求更高性能的实时数仓解决方案,Pulsar 存储计算分离架构、高一致性、事务支持等支持数据湖的特性受到开发者的关注,对 Pulsar 搭建实时数仓的需求越发旺盛。近期,多个 Apache Pulsar 数据湖连接器陆续开源发布,如 Pulsar-Hudi、Pulsar-Iceberg、Pulsar-Delta Lake 连接器等。

本次演讲将结合 Pular-Flink、Pulsar 与数据湖的大数据生态以及场景案例,为大家分享基于云原生消息系统的实时数仓解决方案,给到开发者新的技术参考实现。

票务小姐姐