郭忆加入网易已有11年,专注于数据相关的平台系统的建设,主导网易数据中台技术体系的构建,支撑了网易云音乐、网易严选、网易有道、网易新闻等业务的数据中台构建。极客时间《数据中台实战课》专栏作者,订阅量超过20000。
网易对 DataOps 定义是,是一种将软件工程 CI/CD 的方法融入数据开发的流程,基于自动化的数据测试、任务发布等技术,构建数据发布流水线,使得数据开发效率更高、交付更加频繁,交付质量更有保障。
网易之所以要做 DataOps 的原因:1. 数据分析的延期交付率占到30%;2. 60%的数据质量问题都是在数据开发阶段引入的。
网易 DataOps 的实践:网易将 DataOps 按照可持续集成、可持续交付和可持续部署,划分为3个阶段,构建出编码、编排、测试、代码审核、发布审查、部署上线6个步骤,每个步骤下都有对应的技术实践,例如,我们做的数据比对、数据探查、数据沙箱等能力,可以有效解决数据测试的问题。我们以发布中心为基础,通过发布包的形式,可以实现 DEV/SIT/UAT/PRD 不同环境之间,多种资源混合一键发布,基于全链路血缘,可以实现智能发布审核。
实践成果:1. 需求延期交付率下降到5%;2. 因为代码变更导致的数据质量问题下降90%。
演讲提纲:
你将获得:



