数据中台的建设与发展

会议室:二号厅A
出品人:王勇

当前形势下,许多企业完成了业务信息化的改造工作,急切的寻求挖掘信息化红利的方法和... 展开 >

专题出品人:王勇

滴滴出行 首席工程师

2005年毕业于华中科技大学,09年加入阿里巴巴,参与阿里大数据体系建设,8年时间里依次负责过数据架构、数据平台、数据治理等方向。2017年加入滴滴出行,目前担任数据平台部和数据治理部负责人,也是滴滴新一代数据体系建设主要责任人。

超过10年的大数据领域建设经验,感受过传统行业的BI应用,也见证了大数据时代从兴起到成熟和落地的整个过程,从架构、平台到治理和对外业务,几乎走过了大数据的各个角落,希望能够有机会与大家坐而论道,共同探讨技术演变和行业发展。

曾经担任淘宝技术嘉年华、云栖大会大数据方向出品人。曾用花名 图海/陶笛。

地点:二号厅A

专题:数据中台的建设与发展

当前形势下,许多企业完成了业务信息化的改造工作,急切的寻求挖掘信息化红利的方法和手段。数据中台的概念应运而生,那么,什么是数据中台?数据中台包含哪些部分?该如何建设数据中台?有哪些优秀的应用案例和行业实践?数据治理如何开展?数据资产如何沉淀?这是一系列有趣话题的深度组合,一起来探寻数据中台的奥秘。

by 魏文庆

网易严选
数据技术及产品部总监

1. 问题背景:从数据需求端看,电商本质是零售,需要利用数据优化每个业务过程,降本增效给用户带来高性价比的商品,每个业务部门都有大量的数据需求;从数据供应端看,电商业务过程长而复杂,进而数据的链路长、维度多,数据复杂。电商数据管理和服务一直是个难度大的问题。

2. 解决方案选型:在数据平台和数据应用(前台)间,构建数据中台。

3. 方案介绍:数据中台包含数仓体系、数据服务集和 BI 平台,分别解决数据管理、数据服务集和数据分析工具的问题。

4. 实施后效果:网易严选数据中台,以数仓体系为基础,通过 BI 平台支撑7W 多张图表,通过数据服务支撑60多个业务系统600多个模型。

演讲提纲:

  1. 数据中台的需求场景
  2. 数据中台架构
  • 数仓体系
  • 数据服务集
  • BI 平台

    3. 数据中台解决核心问题

  • 高效赋能
  • 数据质量

    4. 方法论介绍,经验总结

听众受益:

  1. 数据中台的架构与实现方法
  2. 数据前台(应用)与数据中台相互驱动,快速发展

by 高爱强 博士

阿里巴巴
数据技术及产品部高级技术专家

面对数据银行海量数据规模的OLAP查询以及秒级查询速度的业务诉求,从开源MPP集群、Kylin、AQP等多个方案中选择AQP作为突破口,不仅使查询速度得到数倍的提高,还能帮助业务实现过去不可能的功能。

演讲提纲:

  1. 数据银行业务应用场景介绍
  2. 数据银行查询加速技术方案介绍
    • 海量数据查询的痛点
    • 技术选型
    • 技术方案
    • 业务效果
  3. 未来的规划与探索
    • 技术拓展
    • 实时场景探索

听众受益点:

  1. 了解阿里巴巴数据银行业务
  2. 了解在阿里海量数据规模下的查询加速技术

by 李振炜

快手
数据平台部 大数据架构工程师

Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。

演讲提纲:

  1. Clickhouse 在快手的应用现状
  2. Clickhouse on HDFS
    • Clickhouse 的痛点
    • Clickhouse on HDFS 的方案设计
    • Clickhouse on HDFS 的对比测试
  3. 后续 Clickhouse 改进计划

听众受益点:

  1. 了解 Clickhouse 在快手的应用场景
  2. 了解快手对 Clickhouse 的一些改进
  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验

by 徐强

菜鸟网络
高级技术专家

菜鸟作为国内物流行业的领军企业,业务线覆盖海内外。其业务特征为劳动力密集,合作企业众多,包裹投递链路多样化且节点众多,全链路协同。

本演讲将介绍在菜鸟数据中台及运营平台建设历程中所遇到的挑战、数据与运营平台的融合,分享一些物流场景数据平台和运营平台建设的具体案例。

演讲提纲:

  1. 物流业务综述
    • 物流大数据应用场景
  2. 配送全链路业务
    • 全链路作战平台建设
    • 运营、经营、财务
  3. 数据平台与运营平台的融合探索
  4. 数据平台体系建设路线
  5. 运营平台面临的挑战
  6. 数据平台与运营平台的融合

听众受益:

  1. 物流全链路大数据平台建设方法&设计思路
  2. 了解在面对物流这种劳动力密集型业务场景下,如何通过定制化的能力去快速满足业务需求

by 郑秋野

滴滴出行
数据平台部/高级专家工程师

随着企业数据驱动理念的深入人心,业务用户对数据的需求与日俱增。 如何构建灵活易用的数据应用平台,将数据仓库的高质量数据推广至业务用户,同时满足其各角色灵活多变的巨大需求,成为了数据中台亟待解决的问题之一。

演讲提纲:

  1. 数据应用平台业务场景介绍
  2. 数据应用平台核心场景技术方案介绍
    • 数据发现与理解
    • 数据探索加速
    • 数据分析可视化
    • 分层式服务
  3. 未来规划

听众受益点:

  1. 了解滴滴出行数据应用平台的设计思路
  2. 分享滴滴出行数据应用平台的建设实践,提供一些可借鉴经验

by 谢国

爱奇艺
研究员

互联网经过跑马圈地的创业期,在各个领域留下了因为快速产出而维护成本很高的“烟囱”,中台是企业经过前一阶段后,开始聚焦内功修炼,在高高的“烟囱”下搭建共享平台,从此后,众多的“烟囱”都长在中台上。中台战略是企业跨过野蛮生长的一个重要标志,中台成功后,企业的盈利能力因为资源配置优化,重复建设的消亡而大大增长。

从阿里巴巴提出“大中台,小前台”战略后,移动中台开始在移动互联网如雨后春笋般生长,爱奇艺打造移动中台的过程从组件解耦,组件定制化到平台化,未来将继续利用平台发现,沉淀和复用更多的企业级别可复用能力,并提供对外 SaaS 服务。移动中台在服务爱奇艺多App战略上起到了重要作用,大幅缩短了 App 上线周期。

演讲提纲:

  1. App 中台背景和意义
  2. 爱奇艺 App 中台架构和搭建过程和技术障碍:
    • 前端SDK的解耦和定制化输出
    • 平台化能力的搭建
    • 移动端脚手架方案介绍
  3. 爱奇艺 App 中台未来规划:
    • 利用平台提供更多可复用能力
    • 对外 SaaS 服务
  4. 爱奇艺 App 中台重点功能介绍:
    • 爱奇艺互动平台
    • 移动端高可用体系
    • 爱奇艺移动端动态化方案介绍等

听众受益点:了解业界移动中台发展历程,理解中台的意义,从爱奇艺移动中台搭建过程可以借鉴经验。

by 李军

转转
数据中台负责人

作为一个千亿规模的二手电商交易平台,转转拥有复杂的业务生态、足够纵深的业务链路,以及快速迭代的业务功能,遂产生了海量的数据,也催生了大量的数据需求。

在飞速发展的业务和不断膨胀的数据需求面前,传统的数据研发模式和数据平台短板逐渐暴露:数据脏、乱、差,业务不满意;数据研发疲于奔命、四处救火、服务效率低下,普遍苦恼SQL-Boy没有成长。面对高速向前发展的业务和踌躇不前的数据服务又该如何化解两者矛盾,进而让数据与业务产生协同效应?

解决方案选型:面向业务服务建模、基于平台资源整合、能力复用赋能业务、构建企业级的数据中台。

方案介绍:转转数据中台的核心架构包括:PaaS 层、DaaS 层、DA 层,分别对应业务数据化→数据服务化→服务业务化的三个阶段,形成完整的数据生命周期及业务的有机结合,取之业务,用之业务。

实施后效果说明:数据中台解决了之前数据脏、乱、差状况,也解决了服务、交付效率低下、研发价值认同感低等关键问题。需求数量年环比下降60%,平台服务覆盖100%业务部门,数据研发效率提升50%,核心数据延迟与异常下降 90%。

演讲提纲:

  1. 转转数据中台的背景与目标
  2. 数据中台技术架构与思路
  3. 数据中台构建过程:
    • PaaS
    • DaaS
    • DA
  4. 转转数据中台未来方向
  5. 数据中台建设经验总结

听众受益点:

  1. 了解当下最火热的数据中台怎样在中小型公司落地
  2. 数据中台能解决什么问题,不能解决什么问题
  3. 数据中台建设中的一些坑与实践

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务报名小助手豆包
或致电:010-84780850