当前形势下,许多企业完成了业务信息化的改造工作,急切的寻求挖掘信息化红利的方法和... 展开 >
2005年毕业于华中科技大学,09年加入阿里巴巴,参与阿里大数据体系建设,8年时间里依次负责过数据架构、数据平台、数据治理等方向。2017年加入滴滴出行,目前担任数据平台部和数据治理部负责人,也是滴滴新一代数据体系建设主要责任人。
超过10年的大数据领域建设经验,感受过传统行业的BI应用,也见证了大数据时代从兴起到成熟和落地的整个过程,从架构、平台到治理和对外业务,几乎走过了大数据的各个角落,希望能够有机会与大家坐而论道,共同探讨技术演变和行业发展。
曾经担任淘宝技术嘉年华、云栖大会大数据方向出品人。曾用花名 图海/陶笛。
当前形势下,许多企业完成了业务信息化的改造工作,急切的寻求挖掘信息化红利的方法和手段。数据中台的概念应运而生,那么,什么是数据中台?数据中台包含哪些部分?该如何建设数据中台?有哪些优秀的应用案例和行业实践?数据治理如何开展?数据资产如何沉淀?这是一系列有趣话题的深度组合,一起来探寻数据中台的奥秘。
1. 问题背景:从数据需求端看,电商本质是零售,需要利用数据优化每个业务过程,降本增效给用户带来高性价比的商品,每个业务部门都有大量的数据需求;从数据供应端看,电商业务过程长而复杂,进而数据的链路长、维度多,数据复杂。电商数据管理和服务一直是个难度大的问题。
2. 解决方案选型:在数据平台和数据应用(前台)间,构建数据中台。
3. 方案介绍:数据中台包含数仓体系、数据服务集和 BI 平台,分别解决数据管理、数据服务集和数据分析工具的问题。
4. 实施后效果:网易严选数据中台,以数仓体系为基础,通过 BI 平台支撑7W 多张图表,通过数据服务支撑60多个业务系统600多个模型。
演讲提纲:
3. 数据中台解决核心问题
4. 方法论介绍,经验总结
听众受益:
面对数据银行海量数据规模的OLAP查询以及秒级查询速度的业务诉求,从开源MPP集群、Kylin、AQP等多个方案中选择AQP作为突破口,不仅使查询速度得到数倍的提高,还能帮助业务实现过去不可能的功能。
演讲提纲:
听众受益点:
Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。
演讲提纲:
听众受益点:
菜鸟作为国内物流行业的领军企业,业务线覆盖海内外。其业务特征为劳动力密集,合作企业众多,包裹投递链路多样化且节点众多,全链路协同。
本演讲将介绍在菜鸟数据中台及运营平台建设历程中所遇到的挑战、数据与运营平台的融合,分享一些物流场景数据平台和运营平台建设的具体案例。
演讲提纲:
听众受益:
随着企业数据驱动理念的深入人心,业务用户对数据的需求与日俱增。 如何构建灵活易用的数据应用平台,将数据仓库的高质量数据推广至业务用户,同时满足其各角色灵活多变的巨大需求,成为了数据中台亟待解决的问题之一。
演讲提纲:
听众受益点:
互联网经过跑马圈地的创业期,在各个领域留下了因为快速产出而维护成本很高的“烟囱”,中台是企业经过前一阶段后,开始聚焦内功修炼,在高高的“烟囱”下搭建共享平台,从此后,众多的“烟囱”都长在中台上。中台战略是企业跨过野蛮生长的一个重要标志,中台成功后,企业的盈利能力因为资源配置优化,重复建设的消亡而大大增长。
从阿里巴巴提出“大中台,小前台”战略后,移动中台开始在移动互联网如雨后春笋般生长,爱奇艺打造移动中台的过程从组件解耦,组件定制化到平台化,未来将继续利用平台发现,沉淀和复用更多的企业级别可复用能力,并提供对外 SaaS 服务。移动中台在服务爱奇艺多App战略上起到了重要作用,大幅缩短了 App 上线周期。
演讲提纲:
听众受益点:了解业界移动中台发展历程,理解中台的意义,从爱奇艺移动中台搭建过程可以借鉴经验。
作为一个千亿规模的二手电商交易平台,转转拥有复杂的业务生态、足够纵深的业务链路,以及快速迭代的业务功能,遂产生了海量的数据,也催生了大量的数据需求。
在飞速发展的业务和不断膨胀的数据需求面前,传统的数据研发模式和数据平台短板逐渐暴露:数据脏、乱、差,业务不满意;数据研发疲于奔命、四处救火、服务效率低下,普遍苦恼SQL-Boy没有成长。面对高速向前发展的业务和踌躇不前的数据服务又该如何化解两者矛盾,进而让数据与业务产生协同效应?
解决方案选型:面向业务服务建模、基于平台资源整合、能力复用赋能业务、构建企业级的数据中台。
方案介绍:转转数据中台的核心架构包括:PaaS 层、DaaS 层、DA 层,分别对应业务数据化→数据服务化→服务业务化的三个阶段,形成完整的数据生命周期及业务的有机结合,取之业务,用之业务。
实施后效果说明:数据中台解决了之前数据脏、乱、差状况,也解决了服务、交付效率低下、研发价值认同感低等关键问题。需求数量年环比下降60%,平台服务覆盖100%业务部门,数据研发效率提升50%,核心数据延迟与异常下降 90%。
演讲提纲:
听众受益点: