网易云音乐数据研发模式DataOps落地实践

所属专题:DataOps、Data Fabric等高效数据开发与服务模式

嘉宾 : 宋东辉 | 网易云音乐资深测试开发工程师

会议室 : 会议室1(三楼)

讲师介绍

专题演讲嘉宾:宋东辉

网易云音乐资深测试开发工程师

浙江大学硕士毕业之后,加入支付宝,参与蚂蚁端稳定性 Sapienz 项目建设,数字内容质量治理黑鸟项目核心成员,双12大促主要质量负责人之一。2021年加入网易云音乐,云音乐大数据质量建设和数据治理负责人,发起并牵头多方共建 DataOps 项目,提升了数据研发效率和质量水位。

议题介绍

演讲:网易云音乐数据研发模式DataOps落地实践

云音乐数据研发模式的痛点:

  • 数据研发模式需要突破,进一步提升研发效率
  • 研发自测效率低,无明确的质量准出标准
  • 数据监控覆盖率和准确率较低,研发无法及时感知数据线上问题

方案介绍:

从各类保障工具建设,到“变更巡检”,我们逐步坚定规范研发流程才是解决研发痛点的关键,于是基于 DataOps 理念,结合云音乐实际情况落地!

DataOps 的建设初衷是保障数据质量,其终局是“协调多方高效合作,辅助研发敏捷开发!”

  • 事前:从平台层面,规范需求评审、数据指标评审等动作和文档模版要求
  • 事中:提供代码diff和扫描能力,辅助研发快速定位变更点和问题点;
  • 完善数据质量检测能力,基于数据质量准出标准提供自动化检测卡点能力,辅助研发自测,强制推动研发完成必要工作(例如数据测试用例、数据监控等)
  • 事后:基于规范巡检兜底数据研发全量变更,保障变更质量;此外,通过监控告警通知等手段,闭环治理数据监控,提升数据线上问题召回率,降低问题影响时长。

效果说明:

  • 云音乐核心项目需求研发周期从22年H2的39天降低到23年H1的33天,实现了研发效率提升;数据需求延期交付率从50%降低到30%。
  • 云音乐数据线上问题数量,比22年H2降低40%,研发规范类问题降低50%。
  • 2023年H1(事后)累计召回数据问题31例,线上问题召回率提升到70%;核心业务监控月度误报量下降50%以上。

演讲提纲:

  1. 云音乐大数据业务&痛点介绍
  2. DataOps 项目内容
    • 研发规范
    • 自动化卡点
    • 规范巡检&监控治理
  3. 效果收益
  4. 后续规划

你将获得:

  • 云音乐数据研发效率提升和研发质量保障的解法
  • 云音乐数据线上问题治理的难点和实战

交通指南

深圳·博林天瑞喜来登酒店

Sheraton Shenzhen Bolin Tianrui Hotel
地址:广东省深圳市南山区留仙大道4088号
如您在购票过程中遇到问题,请扫码咨询票务小姐姐