AI 技术持续的推陈出新促使其应用遍地开花，如图像识别、个性化推荐等等。随着模型复杂度的不断提高，其在实际业务生产落地的难度也与日俱增。推理平台作为一个在线服务平台，在具有模型部署、模型生命周期管理、服务发现、监控告警、日志等基本功能的同时，还必须具有高吞吐、低延时的严苛性能。业务各自落地 AI 服务不可避免地要做很多重复工作，且很难获得理想的性能，我们迫切需要构建内部统一的 AI 推理平台。本次演讲将为大家分享爱奇艺如何构建其 AI 推理平台，以及在构建过程中的实践和思考。

演讲提纲：

1. 背景介绍

• AI 在爱奇艺的应用场景、需求等

2. AI 推理平台架构演进

• v1: 基本的 AI 推理平台
• v2: 支持模型生命周期管理的新架构
• v3: 容器化动态模型热更新及如何支持更多的计算引擎

3. AI 推理平台落地实践

• 框架及模型优化，性能剖析
• 大模型更新时的短暂请求毛刺怎么解决
• 1 种协议 N 种框架，如何将其他的计算框架（xgboost, fm 等）移植到这个架构下

4. 总结与展望

你将获得：

• 了解 AI 推理平台的功能和难点
• 了解爱奇艺如何构建其 AI 推理平台
• 了解爱奇艺在构建其 AI 推理平台过程中遇到的问题和解决方案

数据驱动在国外一线互联网公司基本已经普及，无论 Facebook、Amazon 还是 Google 内部都有一套非常成熟的实验系统去助力产品、策略的快速演进。当下国内互联网市场，已经很少有蓝海市场，基本都是红海厮杀，那么一个产品能不能快速验证，通过数据驱动做出正确的决策，也就决定了其竞争力如何。一套好用可信的实验平台，支持正交高效的分流以及强大的实验分析诊断对产品进行数据驱动、快速迭代起到了至关重要的作用。目前本人所负责的实验平台已在公司内覆盖绝大多数 BG，共 40+ 产品进行使用，包括图文推荐、短视频推荐、广告推荐、在线教育、金融、游戏等，支持多种实验方式，除了传统的 A/B 实验，还有多臂老虎机实验，Interleaving 实验等。本次我将分享本 A/B 实验平台在腾讯的落地经验。

演讲提纲：
1. 为什么 AI 算法需要 A/B 实验进行助力？
2. 如何构建一套可信、好用、赋能 AI 算法的实验平台？

• 高效正交多层分流——规避实验排队
• 客观科学的实验评估——建立公信力
• 高效的分析诊断——问题归因

3. 如何以正确的姿势来进行 A/B 实验？

• 算法同学常犯的 A/B 实验错误
• 如何科学通过 A/B 实验进行算法迭代

4. 还有没有优雅快捷实验方式来加速 AI 算法迭代？

• Interleaving 实验
• MAB(多臂老虎机实验)

你将获得：

• 产品同学和数据科学同学：认识数据驱动、增长相关的重要工具——A/B 实验
• 效能研发工具同学：如何构建支持过亿 DAU 产品的实验平台
• 产品研发同学：如何使用实验平台来助力产品迭代
• 管理者：尽快的把实验驱动产品的改进理念和工具引进到所在公司
• 硅谷前沿的实验技术在国内的落地实践经验

智能创作部门是字节的中台部门，承担了各产品线的端上算法、特效、音视频编辑、创作工具等能力。其中抖音和剪映是智能创作的重要业务方。随着业务需求不断深入，各种端上特效、玩法以及拍摄和编辑对于端上的算法的性能、大小甚至是功能都提出了不小的要求和挑战。急需一整套端上推理的研发链路来满足这样的业务需求。本次为大家介绍字节端上推理演进与实践，分享这些年的技术思考和经验。

演讲提纲：

1. 背景介绍
2. 端上训练优化演进
3. 端上推理引擎与推理优化
4. 端上Pipeline集成优化
5. 端上运行时与AIOT
6. 全链路体系总结

你将获得：

• 端上如何进行训练、推理、集成优化
• 端推理如何助力 AIoT 解决方案落地
• 端上训练到优化到集成到解决方案的全链路实践思路