质效度量体系和测试平台建设

会议室:首府宴会厅1
出品人:朱华亮

产品与用户期望存在差异,功能开发跟不上需求变化,保证产品质量方法不规等等和质量有... 展开 >

专题出品人:朱华亮

百度质量效能研发部负责人,百度测试架构师

质量效能领域从事10来年,在研发效能、测试技术等相关方向有丰富的实践经验,并主导相关技术在百度APP,搜索、信息流、商业等系统的落地工作,目前专注于数字化、智能化、云化等前沿技术在质量效能领域的应用和探索。

地点:首府宴会厅1

专题:质效度量体系和测试平台建设

产品与用户期望存在差异,功能开发跟不上需求变化,保证产品质量方法不规等等和质量有关的问题层出不穷。在这种背景下,现在大多数大中型企业里,研发度量体系或测试平台显得越来越重要,度量的目的是对已有研发体系进行优化,确保效率和质量,但是现实执行中又逐渐会把度量做成KPI、过于片面等。

那么在数字化转型的大趋势下,在研发过程中如何解决这些问题,使团队通过数字化能够自我评估、诊断与转化,实现更专注、更有效率、更有质量呢?本专题将围绕度量和测试实践来展开介绍。

by 李晓悦

去哪儿网
基础研发技术总监

随着云原生技术的成熟,自动化测试工具在DevOps领域中承担着越来越重要的作用,也是不可或缺的组成部分。在这样的背景下,去哪儿网的自动化测试平台面临着更大的挑战,为了让测试平台更加稳定,在更好的保障业务迭代的同时,丰富它的使用场景,不仅限于业务功能升级,而是应用到更多的领域中取,比如基础设施升级,和故障演练的结合等等。在整个过程中,我们做了多方面的努力和探索,完成了自动化测试平台1.0到2.0的迭代升级。

本次分享中,我们将会从case智选策略,录制回放和应用内链路梳理等基础功能切入,进而阐述测试平台结合基础组件自动升级,打通其他CI/CD流程工具,建立测试生态体系的探索过程和落地实践。目前我们已经线上接入P1P2应用200多个,测试量500+接口/日,从2021年4月开始,完全接管了基础设施升级迭代的自动化回归。

演讲提纲:

  1. checklist/case 自动化维护
  2. 基于jvm-sandbox-repeater 的录制回放探索
  3. 配合混沌工程故障演练/基础组件升级自动回归
  4. 配合软路由进行自动化测试

你将获得:

  1. 如何借助业务维度管理checklist和case
  2. 基于jvm-sandbox-repeater的改造和落地经验
  3. 自动化测试和混沌工程的联姻
  4. 自动化测试和软路由的联姻

by 田熲

百度
资深开发测试工程师

百度移动生态研发效能提升建设的主要思路是:通过效能度量引导效能建设,通过效能可视化、效能分析、效能改进实现研发交付水平的提升。

本次分享的内容,包含研发效能度量和提升实践两部分。在效能度量方面,通过基于交付价值、效率、成本、质量四个维度的效能衡量思路,形成了涵盖4大类、40+指标的效能度量指标体系;针对效能问题,结合百度工程能力地图进行交付完备性、有效性的实践,通过插件化能力,不断降低业务接入成本,形成了效能提升的实践经验。

演讲提纲:

  1. 效能度量体系及建设
    • 效能衡量思路
    • 效能度量指标体系
  2. 效能提升实践
    • 效能诊断分析
    • 效能改进实践
  3. 下一步思考

你将获得:

  1. 百度移动生态研发效能度量的思路和建设经验
  2. 百度移动生态研发效能提升的实践经验

by 崔宇

去哪儿网
机票客户端开发负责人

TARS 系统在去哪儿网内部已经稳定运行一年,完整的接入了测试流程,有效的提升了机票,酒店,门票等重点业务的发布质量,提升了 QA 团队的效率,大量问题都被阻断在上线前,极大的提高发布质量,项目发布再无p2以上bug,同时降低了测试人力,人力节省超过1000pd,近期经过不断迭代,在图像识别的辅助上,利用人工智能技术不断迭代模型,目前已经完全可以通过截图的方式编写 case,大幅度降低了 case 录制的成本;在设备管理上,从过去的单点设备管理,也升级到分布式管理方式,case运行效率大幅提升;在自动化测试的辅助场景里,比如线上问题排查,能够做到自动化回放用操作,自动生成视频,通过回看视频的方式查看用户的操作路径,进而复现解决问题,改变了过去依赖查询日志解决问题的低效方法。

演讲提纲:

  1. 自动化测试的现状及未来方向
  2. 目前遇到的问题
    • 图像识别精度很差,录制成本高
    • case 运行效率低,需要提升
    • 扩展场景没有很好利用,比如线上问题排查
  3. 成果收益
  4. 未来计划

你将获得:

  1. 了解自动化测试的现状和发展方向
  2. 了解图像识别辅助自动化测试中的痛点及解决方案
  3. 了解自动化测试的扩展场景

by 姜磊

字节跳动
研发效能度量分析平台负责人

互联网行业进入“下半场”早已成为业内共识,企业面临着更为残酷的存量市场竞争。可以预见各个互联网企业首为应对激烈的市场变化,首先会采用的是增加“功能”供给的方案。此时,企业对“产能”的焦虑会诱发内部管理策略上的“垫脚效应”。但值得我们注意的是,团队以粗暴的工时线性增长来支撑业务发展注定是不可持续。最终,企业管理还是应该回归关注研发效能本身。

本次分享将介绍字节跳动研发效能度量平台 DevMind 建设思路,以及团队在研发效能度量领域的思考。同时,本次分享还将重点介绍 DevMind 平台的架构设计,还有查询引擎在数据可视化表达能力上的探索。

演讲提纲:

  1. 背景介绍:介绍了平台建设背景,以及对研发效能度量的业务思考        
  2. 架构设计:作为数据中台类产品的架构设计,和即席查询引擎技术方案
  3. 技术应用:通过具体应用案例,展示查询引擎优秀的数据可视化表达能力        
  4. 总结展望:基于业务场景对技术要点归纳为“三纵三横”,并介绍后续演进思路

你将获得:

  • 字节DevMind团队对于研发效能度量场景的思考和实践
  • 一站式数据中台类产品架构设计思路和即席查询引擎技术方案
票务小姐姐