在搜索推荐等算法场景中,在端侧基于用户行为进行实时推理,可以有效提升算法效果,但这需要在端侧进行高效的用户行为采集计算和模型推理。而且,端侧计算环境复杂,计算任务研发成本高,数据离散,数据理解缺失,这就要求我们需要进行端侧环境抽象隔离,才能实现低研发成本。
淘宝端计算平台基于自研的 MNN 推理引擎和深度优化的 Python 虚拟机,在端侧构建了完善的模型推理和特征计算环境,并构建了完善的发布监控等基础设施。目前淘宝端计算平台已服务了包含手机淘宝在内的 20+ App,支撑了百余个业务场景,并取得较好的算法和业务效果。
在本次分享中,我将从计算、数据、质量等多个维度,介绍淘宝端计算平台是如何搭建的和端计算平台在淘宝业务中的实践,以期为你提供构建端计算平台的可复用经验。
演讲提纲:
- 淘宝端智能平台
- 端计算平台面临的问题和挑战
- 淘宝端计算平台的整体架构
- 任务计算
- 计算环境构建:AliNNPython 与 MNN 引擎简介
- 端计算任务研发、发布
- 数据生产
- 数据计算:基于数据描述模型的端计算框架
- 数据存储:端侧统一数据接入层
- 数据传输:实时数据通道
- 数据消费:基于授权接入的数据共享和价值量化
- 质量保障
- 数据质量实时校验及预警:基于表达式的实时数据校验
- 全链路任务级监控:离线链路+流式处理
- 业务实践
- 淘宝搜推业务基于端计算平台在端上重排等场景中的应用
- 总结与展望:如何进一步提升任务研发效率与计算环境效率
你将获得:
- 淘宝端计算平台的当前架构设计
- 端计算平台在淘宝搜推业务中的实践
- 淘宝端计算平台演进方向