从推荐模型的基础特点看大规模推荐类深度学习系统的设计

所属专题:AICon 全球人工智能与机器学习大会

嘉宾 : 袁镱 | 腾讯专家工程师、无量系统负责人

会议室 : 宴会厅3

讲师介绍

专题演讲嘉宾:袁镱

腾讯专家工程师、无量系统负责人

腾讯专家工程师,先后负责和参与4个大型项目,其中3个项目获得公司级别技术突破奖。目前是超大规模深度学习系统——无量系统的负责人。无量系统支持了 PCG 全部业务的推荐场景,以及 IEG,腾讯系公司的多个推荐场景,为业务提供一站式的推荐模型训练和上线服务。

议题介绍

演讲:从推荐模型的基础特点看大规模推荐类深度学习系统的设计

推荐场景是重要的 AI 应用场景,占据 AI 应用的 IDC 资源消耗的一半以上。在推荐场景中,用户和物品随着时间而变化,引起了模型特征在时间和空间两个维度上的变化。这个特点导致了推荐类模型与 CV,NLP 场景的本质区别。无量系统是腾讯 PCG 推荐中台的核心引擎组件。

本分享通过分析推荐类模型训练和预测在时间和空间上的局部性原理,从分布式系统、大规模模型、优化算法三个维度推导大规模推荐模型的训练和预测系统的设计思考,以及无量系统的实践。

演讲提纲:

  1. 推荐场景的背景介绍
  2. 推荐场景的核心特点分析
  3. 无量系统核心技术介绍
    • 分布式系统与大规模模型
      • CPU/GPU 训练系统的统一与差异(如何利用空间局部性的特点统一现有的CPU/GPU 训练系统设计)
      • 在线推理系统的设计(如何利用时间局部性的特点做多级存储加速)
    • 深度学习算法层面的优化
      • 如何用信息稀疏性做训练加速
      • 如何用信息稀疏性对编码,模型设计进行优化以降低模型大小,从而降低大规模模型的内存成本
  4. 未来的方向
  5. 如何通过全流程整合,实现端到端的全局优化

你将获得:

  • 从推荐场景的固有特点出发,从系统工程,算法联合设计的原理角度,分析设计上的考量与决策点
  • 有助于听众通过分析工业界和学术界的前沿解决方案,对推荐训练和预测系统有一个相对完整的体系认识
  • 便于相关系统的设计人员结合自己遇到的问题,针对性地选择对应解决方案

交通指南

深圳·大中华喜来登酒店

Sheraton Shenzhen Futian Hotel
地址:中国广东省深圳市福田区福华路福华路大中华国际交易广场
票务小姐姐