网易基于DataOps的敏捷、高质量数据开发实践

所属专题:DataOps 在企业落地实践

嘉宾 : 郭忆 | 网易技术专家,网易数帆大数据产品技术负责人

会议室 : 宴会厅1

讲师介绍

专题出品人:郭忆

网易技术专家,网易数帆大数据产品技术负责人

郭忆加入网易已有11年,专注于数据相关的平台系统的建设,主导网易数据中台技术体系的构建,支撑了网易云音乐、网易严选、网易有道、网易新闻等业务的数据中台构建。极客时间《数据中台实战课》专栏作者,订阅量超过20000。

议题介绍

演讲:网易基于DataOps的敏捷、高质量数据开发实践

网易对 DataOps 定义是,是一种将软件工程 CI/CD 的方法融入数据开发的流程,基于自动化的数据测试、任务发布等技术,构建数据发布流水线,使得数据开发效率更高、交付更加频繁,交付质量更有保障。

网易之所以要做 DataOps 的原因:1. 数据分析的延期交付率占到30%;2. 60%的数据质量问题都是在数据开发阶段引入的。

网易 DataOps 的实践:网易将 DataOps 按照可持续集成、可持续交付和可持续部署,划分为3个阶段,构建出编码、编排、测试、代码审核、发布审查、部署上线6个步骤,每个步骤下都有对应的技术实践,例如,我们做的数据比对、数据探查、数据沙箱等能力,可以有效解决数据测试的问题。我们以发布中心为基础,通过发布包的形式,可以实现 DEV/SIT/UAT/PRD 不同环境之间,多种资源混合一键发布,基于全链路血缘,可以实现智能发布审核。

实践成果:1. 需求延期交付率下降到5%;2. 因为代码变更导致的数据质量问题下降90%。

演讲提纲:

  1. 为什么网易要构建 DataOps 高效数据开发体系
  2. 基于 DataOps 的数据开发流水线构建
  3. 实践痛点
  4. 网易内部基于 DataOps 的最佳实践
  5. 网易在金融行业的 DataOps 最佳实践

你将获得:

  • 系统化、体系化的全面理解 DataOps 的内涵;
  • 类似互联网企业,可以借鉴网易的经验,根据企业的实际需求,打造基于 DataOps 的敏捷数据开发流水线;
  • 金融用户,可以借鉴 DataOps,实现 DEV/SIT/UAT/PRD 的多环境之间发布,解决发布效率的问题;
  • 有多集群的用户,可以借鉴 DataOps 实现多集群一键发布的能力。

交通指南

上海·明捷万丽酒店

Shanghai Marriott Hotel Parkview
地址:上海市普陀区铜川路50号近岚皋路5号口20米
小姐姐