运维(Ops)发展到现在,企业组织在 IT 内部和外部都采用了各种形式的 Ops... 展开 >





郭忆加入网易已有11年,专注于数据相关的平台系统的建设,主导网易数据中台技术体系的构建,支撑了网易云音乐、网易严选、网易有道、网易新闻等业务的数据中台构建。极客时间《数据中台实战课》专栏作者,订阅量超过20000。
运维(Ops)发展到现在,企业组织在 IT 内部和外部都采用了各种形式的 Ops 来拥抱变革。Gartner 曾明确指出 XOps 将成为未来企业组织 IT 运营发展的主要趋势之一,通过更有效的 XOps 可以实现业务价值的运营:优化决策并将数据和分析转化为业务的一个组成部分,为企业数字化转型助力添翼。
网易对 DataOps 定义是,是一种将软件工程 CI/CD 的方法融入数据开发的流程,基于自动化的数据测试、任务发布等技术,构建数据发布流水线,使得数据开发效率更高、交付更加频繁,交付质量更有保障。
网易之所以要做 DataOps 的原因:1. 数据分析的延期交付率占到30%;2. 60%的数据质量问题都是在数据开发阶段引入的。
网易 DataOps 的实践:网易将 DataOps 按照可持续集成、可持续交付和可持续部署,划分为3个阶段,构建出编码、编排、测试、代码审核、发布审查、部署上线6个步骤,每个步骤下都有对应的技术实践,例如,我们做的数据比对、数据探查、数据沙箱等能力,可以有效解决数据测试的问题。我们以发布中心为基础,通过发布包的形式,可以实现 DEV/SIT/UAT/PRD 不同环境之间,多种资源混合一键发布,基于全链路血缘,可以实现智能发布审核。
实践成果:1. 需求延期交付率下降到5%;2. 因为代码变更导致的数据质量问题下降90%。
演讲提纲:
你将获得:
美团外卖数据团队支持的业务线、用户角色和用户数量都很高,涵盖了BA、运营、产品、策略和算法等多种角色,数仓研发人均服务用户数非常高,需求多、任务多,并且成本一直在攀升,给业务和数仓都带来很大的压力。
美团外卖基于 DataOps 的理念,根据业务和用数用户的实际情况,开发了相应的工具,可以让数据交付更快,数据质量更高,同时有效地降低了数据加工和存储的成本。
实践成果:需求响应效率有数倍的提升; 降低成本超30%;同时给算法和策略带来了效果上的提升。
演讲提纲:
你将获得:
伴随着证券行业数字化转型如火如荼,业务开展已逐步从流程驱动向数据驱动、数智驱动逐步升级,而如何更快更好地组织数据开发过程,如何更高效可预测地持续交付高质量数据,成为了当下亟待解决的痛点问题。而 DataOps,借鉴了 DevOps 的持续集成、持续交付和持续部署,为实现这一目标提供了一个优秀理念或方法论。
演讲提纲:
你将获得:
根因定位问题近年来一度成为智能运维领域,无论是学术届还是工业界都十分关注的热点。本次分享将通过大数据运维场景中一些典型的根因定位问题,结合阿里云计算平台智能运维团队的具体实践案例,来介绍团队积累的根因定位相关算法工具箱,以及依赖的数据和中台能力。
阿里云计算平台智能运维团队在 AIOps 和 DataOps 方向深耕多年,不仅在阿里云计算平台多个大数据计算产品的运维场景中积累了丰富的实践经验,同时在国际顶会举办的智能运维大赛中拔得头筹,多篇研究成果被 SIGMOD/CIKM/ICASSP 等顶会接收。
演讲提纲:
你将获得:



