专题演讲嘉宾：张俊钦

AI 技术持续的推陈出新促使其应用遍地开花，如图像识别、个性化推荐等等。随着模型复杂度的不断提高，其在实际业务生产落地的难度也与日俱增。推理平台作为一个在线服务平台，在具有模型部署、模型生命周期管理、服务发现、监控告警、日志等基本功能的同时，还必须具有高吞吐、低延时的严苛性能。业务各自落地 AI 服务不可避免地要做很多重复工作，且很难获得理想的性能，我们迫切需要构建内部统一的 AI 推理平台。本次演讲将为大家分享爱奇艺如何构建其 AI 推理平台，以及在构建过程中的实践和思考。

演讲提纲：

1. 背景介绍

• AI 在爱奇艺的应用场景、需求等

2. AI 推理平台架构演进

• v1: 基本的 AI 推理平台
• v2: 支持模型生命周期管理的新架构
• v3: 容器化动态模型热更新及如何支持更多的计算引擎

3. AI 推理平台落地实践

• 框架及模型优化，性能剖析
• 大模型更新时的短暂请求毛刺怎么解决
• 1 种协议 N 种框架，如何将其他的计算框架（xgboost, fm 等）移植到这个架构下

4. 总结与展望

你将获得：

• 了解 AI 推理平台的功能和难点
• 了解爱奇艺如何构建其 AI 推理平台
• 了解爱奇艺在构建其 AI 推理平台过程中遇到的问题和解决方案