数据中台已经成为企业角逐的新热点,而实时性对于数据中台来说是能力倍增器。只有通过强大的实时数据中台,才能充分赋能业务。与强烈的业务需求相对应的是目前实时数据中台建设的落后。一方面,实时数据中台的理论和实践都还比较早期,另一方面,实时数据中台的实践往往是八国联军齐上阵,各种引擎各负责一小块,形成了大量的数据重复和孤岛。业务同学必须学习各种专门知识才能使用这些数据。这种情况使得中台能力很难向业务释放。
本演讲主要介绍一种通用的支撑实时数据中台构建的方法与实践。我们认为理想的实时数据中台应该是:端到端低延迟、SQL 标准化、快速响应变化、数据统一。在实践中,我们总结的最佳实践是:一个通用实时计算引擎+一个通用交互式分析引擎形成完整数据链路。两者合理分工,互相补充,形成易于开发、易于维护、效率最高的流水线。不光是实时计算导入数据给交互式分析,交互式分析也可以高效的服务实时计算。同时,基于这个模式,可以清楚的区分和定位平台、基础数据、业务等多个团队。这个模式不光容易复制,且能充分响应业务变化,赋能业务。
本次演讲将通过多个案例来介绍这种方案的优点及其挑战(包括各种开源或者闭源引擎的选取,技术及运维上的挑战等等)。希望通过这些案例的介绍,能帮助各企业更好的搭建自己的实时数据中台,提升数据的时效性。
演讲提纲:
- 现有实时数据中台方案的短板和痛点
- 一种通用的实时数据中台构建模式介绍
- 实时数据中台构建的挑战与技术难点
- 多种场景下的案例介绍
听众受益点:
- 对现有实时数据中台构建方案的痛点有更加深刻的认识
- 了解实时计算和交互式分析双引擎实现实时数据中台方案及其优势有明确的认识
- 对实时数据中台构建的挑战与技术难点有更好的认识
- 对实时数据中台的最佳实践案例有更好的理解
- 能够更好的进行开闭源相关引擎的选取