DataOps 在企业落地实践

会议室:宴会厅1
出品人:郭忆

运维(Ops)发展到现在,企业组织在 IT 内部和外部都采用了各种形式的 Ops... 展开 >

专题出品人:郭忆

网易技术专家,网易数帆大数据产品技术负责人

郭忆加入网易已有11年,专注于数据相关的平台系统的建设,主导网易数据中台技术体系的构建,支撑了网易云音乐、网易严选、网易有道、网易新闻等业务的数据中台构建。极客时间《数据中台实战课》专栏作者,订阅量超过20000。

地点:宴会厅1

专题:DataOps 在企业落地实践

运维(Ops)发展到现在,企业组织在 IT 内部和外部都采用了各种形式的 Ops 来拥抱变革。Gartner 曾明确指出 XOps 将成为未来企业组织 IT 运营发展的主要趋势之一,通过更有效的 XOps 可以实现业务价值的运营:优化决策并将数据和分析转化为业务的一个组成部分,为企业数字化转型助力添翼。

by 郭忆

网易
技术专家,网易数帆大数据产品技术负责人

网易对 DataOps 定义是,是一种将软件工程 CI/CD 的方法融入数据开发的流程,基于自动化的数据测试、任务发布等技术,构建数据发布流水线,使得数据开发效率更高、交付更加频繁,交付质量更有保障。

网易之所以要做 DataOps 的原因:1. 数据分析的延期交付率占到30%;2. 60%的数据质量问题都是在数据开发阶段引入的。

网易 DataOps 的实践:网易将 DataOps 按照可持续集成、可持续交付和可持续部署,划分为3个阶段,构建出编码、编排、测试、代码审核、发布审查、部署上线6个步骤,每个步骤下都有对应的技术实践,例如,我们做的数据比对、数据探查、数据沙箱等能力,可以有效解决数据测试的问题。我们以发布中心为基础,通过发布包的形式,可以实现 DEV/SIT/UAT/PRD 不同环境之间,多种资源混合一键发布,基于全链路血缘,可以实现智能发布审核。

实践成果:1. 需求延期交付率下降到5%;2. 因为代码变更导致的数据质量问题下降90%。

演讲提纲:

  1. 为什么网易要构建 DataOps 高效数据开发体系
  2. 基于 DataOps 的数据开发流水线构建
  3. 实践痛点
  4. 网易内部基于 DataOps 的最佳实践
  5. 网易在金融行业的 DataOps 最佳实践

你将获得:

  • 系统化、体系化的全面理解 DataOps 的内涵;
  • 类似互联网企业,可以借鉴网易的经验,根据企业的实际需求,打造基于 DataOps 的敏捷数据开发流水线;
  • 金融用户,可以借鉴 DataOps,实现 DEV/SIT/UAT/PRD 的多环境之间发布,解决发布效率的问题;
  • 有多集群的用户,可以借鉴 DataOps 实现多集群一键发布的能力。

by 高爱强 博士

美团外卖
数据仓库组负责人

美团外卖数据团队支持的业务线、用户角色和用户数量都很高,涵盖了BA、运营、产品、策略和算法等多种角色,数仓研发人均服务用户数非常高,需求多、任务多,并且成本一直在攀升,给业务和数仓都带来很大的压力。

美团外卖基于 DataOps 的理念,根据业务和用数用户的实际情况,开发了相应的工具,可以让数据交付更快,数据质量更高,同时有效地降低了数据加工和存储的成本。

实践成果:需求响应效率有数倍的提升; 降低成本超30%;同时给算法和策略带来了效果上的提升。

演讲提纲:

  1. 美团外卖数据建设的现状
  2. 基于 DataOps 理念的工具建设思路
  3. 工具建设过程中的重点技术问题
  4. DataOps 思路和工具的应用和实践
  5. 思考和总结

你将获得:

  • 对 DataOps 的理解
  • 如何整合数据内部的内容和工具,为业务提供更高效的数据,并且有效降低成本
  • 在实践 DataOps 过程中关于元数据管理、任务管理、资源成本治理相关的参考经验

by 傅江如

申万宏源证券
大数据平台专家

伴随着证券行业数字化转型如火如荼,业务开展已逐步从流程驱动向数据驱动、数智驱动逐步升级,而如何更快更好地组织数据开发过程,如何更高效可预测地持续交付高质量数据,成为了当下亟待解决的痛点问题。而 DataOps,借鉴了 DevOps 的持续集成、持续交付和持续部署,为实现这一目标提供了一个优秀理念或方法论。

演讲提纲:

  1. DataOps 的引入背景
  2. DataOps 全链路平台建设思路
  3. 券商 DataOps 的痛点难点
  4. DataOps 的工具链与实践

你将获得:

  • 了解采纳 DataOps 的背景与意义
  • 一个完整的 DataOps 全链路平台是怎样的?
  • 在券商中构建 DataOps 有哪些特殊的困境,如何解决?
  • 基于 DataOps 的敏捷数据开发流水线是如何打造和运行的

by 张颖莹

阿里云
计算平台智能运维算法负责人

根因定位问题近年来一度成为智能运维领域,无论是学术届还是工业界都十分关注的热点。本次分享将通过大数据运维场景中一些典型的根因定位问题,结合阿里云计算平台智能运维团队的具体实践案例,来介绍团队积累的根因定位相关算法工具箱,以及依赖的数据和中台能力。

阿里云计算平台智能运维团队在 AIOps 和 DataOps 方向深耕多年,不仅在阿里云计算平台多个大数据计算产品的运维场景中积累了丰富的实践经验,同时在国际顶会举办的智能运维大赛中拔得头筹,多篇研究成果被 SIGMOD/CIKM/ICASSP 等顶会接收。

演讲提纲:

  1. 阿里巴巴大数据运维背景
  2. 大数据运维场景中的根因定位
    • 根因定位问题类型
    • 根因定位的普遍性难点
  3. 阿里云计算平台基于 AIOps 的根因定位实践案例
    • 高维数据智能下钻
    • 流计算平台故障类型定位
    • 基于因果图的网络故障定位
  4. 根因定位算法工具箱
  5. AIOps 背后的数据链路和中台能力
  6. 思考与展望

你将获得:

  • 听众可以全面深入地了解 AIOps 领域根因定位的问题类型和普遍性挑战
  • 通过阿里云计算平台在根因定位场景中的落地案例,听众可以学习到具体根因定位场景的剖析方法和解决思路,为解决其自身企业所面临的根因定位问题提供参考
  • 通过本次分享所介绍的根因定位算法工具箱,听众可以更加快速地上手解决自己所面临的根因定位难题
  • 本次分享介绍的 AIOps 所依赖的数据链路和中台能力,可以让听众对 AIOps 整体的构建框架有更加全面的了解,为企业构建自己的 AIOps 平台提供借鉴
  • 了解到根因定位问题未来可能的研究和演进方向

交通指南

上海·明捷万丽酒店

Shanghai Marriott Hotel Parkview
地址:上海市普陀区铜川路50号近岚皋路5号口20米
小姐姐