当前是流批处理合一的时代,大部分公司还停留在实时计算的平台化起步阶段,有很多技术... 展开 >
花名一浪,从事5年搜索和广告引擎的设计与开发,负责过阿里巴巴淘宝,天猫,1688,Sourcing 和 AliExress 的搜索与广告在线引擎系统,主导过阿里巴巴国际搜索和广告引擎在离线的一体化升级改造。近3年来,主要从事存储与计算引擎的设计与研发工作。现就职于阿里巴巴计算平台事业部,发起和参与了阿里巴巴新一代交互式分析引擎 Hologres 的研发。
当前是流批处理合一的时代,大部分公司还停留在实时计算的平台化起步阶段,有很多技术难题需要解决。面对这样的局势,本专题优选平台化实践话题,介绍如何管理实时资源,如何处理数据丢失等等经验。
Kudu 作为一款新型的 OLAP 存储引擎,它的实时入库和支持更新、删除操作的优点,是对开源大数据生态短板有力的补充,达到“Fast Analytics on Fast Data”的效果。基于此,我们把 Kudu 深度集成进了网易猛犸大数据平台,用来支持网易考拉和网易云音乐的数据中台建设,并构建起了各自的实时数据仓库。同时,我们积极参与 Kudu 社区的工作,开发新功能(包括各种优化)并提交到社区,推动项目的发展。
演讲提纲:
听众受益点:
Uber 有很多基于消息平台的微服务应用,如订单处理,支付处理,通知系统等。如何实现高可靠的重试以及死信队列,如何简单可靠的搭建 Serverless 应用,以及如何实现端到端性能监控和分布式追踪是很多微服务应用都需要解决的问题。
此次演讲会详细介绍 Uber 消息平台部门的解决方案以及未来的研发方向。
演讲提纲:
听众受益点:
数据中台已经成为企业角逐的新热点,而实时性对于数据中台来说是能力倍增器。只有通过强大的实时数据中台,才能充分赋能业务。与强烈的业务需求相对应的是目前实时数据中台建设的落后。一方面,实时数据中台的理论和实践都还比较早期,另一方面,实时数据中台的实践往往是八国联军齐上阵,各种引擎各负责一小块,形成了大量的数据重复和孤岛。业务同学必须学习各种专门知识才能使用这些数据。这种情况使得中台能力很难向业务释放。
本演讲主要介绍一种通用的支撑实时数据中台构建的方法与实践。我们认为理想的实时数据中台应该是:端到端低延迟、SQL 标准化、快速响应变化、数据统一。在实践中,我们总结的最佳实践是:一个通用实时计算引擎+一个通用交互式分析引擎形成完整数据链路。两者合理分工,互相补充,形成易于开发、易于维护、效率最高的流水线。不光是实时计算导入数据给交互式分析,交互式分析也可以高效的服务实时计算。同时,基于这个模式,可以清楚的区分和定位平台、基础数据、业务等多个团队。这个模式不光容易复制,且能充分响应业务变化,赋能业务。
本次演讲将通过多个案例来介绍这种方案的优点及其挑战(包括各种开源或者闭源引擎的选取,技术及运维上的挑战等等)。希望通过这些案例的介绍,能帮助各企业更好的搭建自己的实时数据中台,提升数据的时效性。
演讲提纲:
听众受益点:
FreeWheel 是一家服务美国面向全球的视频广告管理和投放平台,服务了全美90%的主流电视媒体和运营商。视频广告业务数据维度基数大,实时性要求高,如何在这样复杂的场景中实时响应广告投放,实时监控流量及重大赛事等,是非常具有挑战性的工作。针对这些挑战,我们设计构建了 FreeWheel 的实时计算平台,服务不同业务的实时计算需求。
演讲提纲:
听众受益点: