网易流批一体的实时数据湖实践

所属专题:LakeHouse 架构演进与数据治理实践

嘉宾 : 周劲松 | 网易数帆高级技术专家

会议室 : 首府宴会厅2

讲师介绍

专题演讲嘉宾:周劲松

网易数帆高级技术专家

任职于网易数据科学中心,目前是网易分布式数据库 DDB 和网易数据运河 NDC 的项目负责人,对数据库以及相关中间件的设计和研发有丰富经验。

议题介绍

演讲:网易流批一体的实时数据湖实践

随着大数据应用的时效性要求越来越高,传统的离线数仓已经无法满足业务的需求,新引入的各种异构存储的实时数仓虽然暂时满足了需求,但是实时、离线分开建模、开发、存储的结果却又带来了数据质量不高、成本浪费、运维困难等诸多问题。而流批一体、湖仓一体现阶段看来是解决以上问题的不错思路。

网易结合自身在 Flink/Spark 计算引擎多年的开发实践经验,融合 Iceberg 的数据湖管理能力,打造了一套流批一体的实时数据湖方案。新的方案采用一套元数据管理流与批的数据,采用相同的编程接口进行开发,在提升数据时效性的基础上简化了开发过程,提升了数据质量,降低了运维成本。

目前新的流批一体方案已经在网易内外多个项目中落地,共计活跃流批一体表200+张,使用流批一体表的实时计算任务500+个,使用流批一体表的离线计算任务1000+,其中实时计算任务最大 QPS 超过一百万,单张表存储体量超过100TB。

演讲提纲:

  1. 网易数据开发现状与痛点
  2. 网易流批一体的实时数据湖——Arctic
  3. 核心技术
  4. 案例与成果
  5. 未来规划

你将获得:

  1. 开源数据湖技术概览
  2. 网易数据开发模式
  3. 网易流批一体的实践与经验
  4. 网易实时数据湖上的实践与经验
票务小姐姐