实时计算的平台化实践

会议室:二号厅C
出品人:胡月军

当前是流批处理合一的时代,大部分公司还停留在实时计算的平台化起步阶段,有很多技术... 展开 >

专题出品人:胡月军

阿里巴巴 计算平台资深技术专家

花名一浪,从事5年搜索和广告引擎的设计与开发,负责过阿里巴巴淘宝,天猫,1688,Sourcing 和 AliExress 的搜索与广告在线引擎系统,主导过阿里巴巴国际搜索和广告引擎在离线的一体化升级改造。近3年来,主要从事存储与计算引擎的设计与研发工作。现就职于阿里巴巴计算平台事业部,发起和参与了阿里巴巴新一代交互式分析引擎 Hologres 的研发。

地点:二号厅C

专题:实时计算的平台化实践

当前是流批处理合一的时代,大部分公司还停留在实时计算的平台化起步阶段,有很多技术难题需要解决。面对这样的局势,本专题优选平台化实践话题,介绍如何管理实时资源,如何处理数据丢失等等经验。

by 何李夫

网易杭州研究院
数据科学中心软件工程师

Kudu 作为一款新型的 OLAP 存储引擎,它的实时入库和支持更新、删除操作的优点,是对开源大数据生态短板有力的补充,达到“Fast Analytics on Fast Data”的效果。基于此,我们把 Kudu 深度集成进了网易猛犸大数据平台,用来支持网易考拉和网易云音乐的数据中台建设,并构建起了各自的实时数据仓库。同时,我们积极参与 Kudu 社区的工作,开发新功能(包括各种优化)并提交到社区,推动项目的发展。

演讲提纲:

  1. 系统概述:Kudu 系统介绍
  2. 使用场景:Kudu 在网易实时数仓建设中的使用案例
  3. 经验分享:分享运维过程中的一些经验总结

听众受益点:

  1. 使听众了解到 Kudu 项目的定位和技术背景
  2. 使听众了解到 Kudu 在网易实时数仓建设中的实践经验

by 陈明敏 博士

Uber
Data Staff Software Engineer,Tech Lead Manager

Uber 有很多基于消息平台的微服务应用,如订单处理,支付处理,通知系统等。如何实现高可靠的重试以及死信队列,如何简单可靠的搭建 Serverless 应用,以及如何实现端到端性能监控和分布式追踪是很多微服务应用都需要解决的问题。

此次演讲会详细介绍 Uber 消息平台部门的解决方案以及未来的研发方向。

演讲提纲:

  1. Uber 大数据平台架构以及开源技术介绍
  2. 基于 Kafka 和 Flink 的应用场景及问题描述
  3. Uber 微服务消息平台架构及实现方案
  4. 端到端性能监控与分布式追踪
  5. 未来方向

听众受益点:

  1. Uber 基于 Apache Kafka 和 Flink 的实时应用场景
  2. 如何搭建可扩展高性能消息平台
  3. 基于 Serverless 的微服务方案
  4. 端到端性能监控与分布式追踪
  5. 消息平台未来的研发方向

by 姜伟华

阿里巴巴
资深技术专家

数据中台已经成为企业角逐的新热点,而实时性对于数据中台来说是能力倍增器。只有通过强大的实时数据中台,才能充分赋能业务。与强烈的业务需求相对应的是目前实时数据中台建设的落后。一方面,实时数据中台的理论和实践都还比较早期,另一方面,实时数据中台的实践往往是八国联军齐上阵,各种引擎各负责一小块,形成了大量的数据重复和孤岛。业务同学必须学习各种专门知识才能使用这些数据。这种情况使得中台能力很难向业务释放。

本演讲主要介绍一种通用的支撑实时数据中台构建的方法与实践。我们认为理想的实时数据中台应该是:端到端低延迟、SQL 标准化、快速响应变化、数据统一。在实践中,我们总结的最佳实践是:一个通用实时计算引擎+一个通用交互式分析引擎形成完整数据链路。两者合理分工,互相补充,形成易于开发、易于维护、效率最高的流水线。不光是实时计算导入数据给交互式分析,交互式分析也可以高效的服务实时计算。同时,基于这个模式,可以清楚的区分和定位平台、基础数据、业务等多个团队。这个模式不光容易复制,且能充分响应业务变化,赋能业务。

本次演讲将通过多个案例来介绍这种方案的优点及其挑战(包括各种开源或者闭源引擎的选取,技术及运维上的挑战等等)。希望通过这些案例的介绍,能帮助各企业更好的搭建自己的实时数据中台,提升数据的时效性。

演讲提纲:

  1. 现有实时数据中台方案的短板和痛点
  2. 一种通用的实时数据中台构建模式介绍
  3. 实时数据中台构建的挑战与技术难点
  4. 多种场景下的案例介绍

听众受益点:

  1. 对现有实时数据中台构建方案的痛点有更加深刻的认识
  2. 了解实时计算和交互式分析双引擎实现实时数据中台方案及其优势有明确的认识
  3. 对实时数据中台构建的挑战与技术难点有更好的认识
  4. 对实时数据中台的最佳实践案例有更好的理解
  5. 能够更好的进行开闭源相关引擎的选取

by 姜冰

FreeWheel
数据平台首席工程师

FreeWheel 是一家服务美国面向全球的视频广告管理和投放平台,服务了全美90%的主流电视媒体和运营商。视频广告业务数据维度基数大,实时性要求高,如何在这样复杂的场景中实时响应广告投放,实时监控流量及重大赛事等,是非常具有挑战性的工作。针对这些挑战,我们设计构建了 FreeWheel 的实时计算平台,服务不同业务的实时计算需求。

演讲提纲:

  1. FreeWheel 实时计算应用场景介绍
  2. FreeWheel 实时计算平台介绍
    • 业务痛点
    • 技术架构实现
    • 存储引擎的选择
    • 优化及改进
  3. 未来规划
    • 计算引擎的丰富及流批融合
    • 基于实时计算的实时数仓

听众受益点:

  1. 了解视频广告投放中的实时应用场景
  2. 了解视频广告投放中的实时计算平台方案

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务报名小助手豆包
或致电:010-84780850