云音乐数据研发模式的痛点:
- 数据研发模式需要突破,进一步提升研发效率
- 研发自测效率低,无明确的质量准出标准
- 数据监控覆盖率和准确率较低,研发无法及时感知数据线上问题
方案介绍:
从各类保障工具建设,到“变更巡检”,我们逐步坚定规范研发流程才是解决研发痛点的关键,于是基于 DataOps 理念,结合云音乐实际情况落地!
DataOps 的建设初衷是保障数据质量,其终局是“协调多方高效合作,辅助研发敏捷开发!”
- 事前:从平台层面,规范需求评审、数据指标评审等动作和文档模版要求
- 事中:提供代码diff和扫描能力,辅助研发快速定位变更点和问题点;
- 完善数据质量检测能力,基于数据质量准出标准提供自动化检测卡点能力,辅助研发自测,强制推动研发完成必要工作(例如数据测试用例、数据监控等)
- 事后:基于规范巡检兜底数据研发全量变更,保障变更质量;此外,通过监控告警通知等手段,闭环治理数据监控,提升数据线上问题召回率,降低问题影响时长。
效果说明:
- 云音乐核心项目需求研发周期从22年H2的39天降低到23年H1的33天,实现了研发效率提升;数据需求延期交付率从50%降低到30%。
- 云音乐数据线上问题数量,比22年H2降低40%,研发规范类问题降低50%。
- 2023年H1(事后)累计召回数据问题31例,线上问题召回率提升到70%;核心业务监控月度误报量下降50%以上。
演讲提纲:
- 云音乐大数据业务&痛点介绍
- DataOps 项目内容
- 效果收益
- 后续规划
你将获得:
- 云音乐数据研发效率提升和研发质量保障的解法
- 云音乐数据线上问题治理的难点和实战