vivo AI 研究院从2018年初开始从机器学习向深度学习转型，需要一套通用的深度学习平台统一支持广告、推荐、视觉、语音、NLP 等领域高效落地深度学习。在这个过程中，探索出了一套基于容器技术的深度学习平台，统一支持 Tensorflow、PyTorch、Caffe、Kaldi 等深度学习框架，支持大规模深度学习，高效落地基于大规模 GPU 深度学习的模型训练。经过1年多的研究和实践，vivo 建设了一套领先的完善的深度学习计算平台，并且落地在 vivo AI 研究院 广告、推荐、视觉、语音、NLP 业务中，大大提升了业务的训练效率。

演讲提纲：

1. vivo 深度学习面临的问题和挑战
2. 深度学习计算平台的技术选型与架构设计
3. 大规模计算集群调度
4. 海量小样本分布式存储
5. 打造完整的深度学习闭环，数据-训练-推理
6. 广告和推荐、视觉、语音场景面临的问题和解决方法

听众受益点：

1. 了解深度学习项目的最佳实践
2. 如何避免大规模深度学习项目中的各种坑
3. 如何驾驭大规划机器调度和海量小样本存储

如何建模特征之间的交互关系，在推荐系统中至关重要。传统的 Logistic Regression 模型，简单有效，依赖专家经验进行特征交互设计。Factorization Machine 模型有效建模了二阶特征交互。而深度学习模型以其优秀的特征表达能力，在推荐系统占据一席之地。在深度学习模型中，特征交互的设计也是尤为重要。我们对现有的几种设计方式进行总结，并且提出了创新性的方案。AutoML，在计算视觉中的图像分类问题中，自动设计出各种新颖的神经网络，不断刷新各类竞赛的精度上限。演讲中也会介绍 AutoML 技术在特征交互的设计上如何发挥优势。

演讲提纲：

1. 推荐系统的技术演进路线
2. 浅层模型中的特征交互
   • Logistic Regression 模型
   • Factorization Machine 模型及其变种
3. 深度模型中的特征交互：
   • 整体框架结构
   • 特征交互层的业界设计方案
   • DeepFM 模型与 PIN 模型（自研模型与落地）
4. AutoML 技术特征交互中的应用：
   • 业界应用情况，与具体的方向
   • 浅层模型中的 AutoML：AutoCross 与 AutoFIS 模型（自研模型与落地）
   • 深度模型中的 AutoML：AutoGroup 与 AutoPIN 模型（自研模型与落地）

听众收益：

1. 了解推荐系统中的特征交互
2. 了解如何设计基于深度学习的推荐系统模型
3. 了解 AutoML 技术在推荐系统中的应用
4. 了解以上技术在工业界的落地情况

在诸如推荐系统，在线广告，金融反欺诈等机器学习应用中，数据集可以跨越多个相关表来显示事件的时间安排。而传统方法则需要专家们通过繁琐的手法来获取有意义的特征。我们提出基于多表自动机器学习算法，能够自动发现表间关系来自动进行特征合成。在没有域信息的情况下，多表自动机器学习算法，能够自动生成有用的时序特征和跨表格有效拼接与聚合特征。并且在规定时限和资源消耗下，自动选择最佳的机器学习模型。凭借创新性的多表 AutoML 技术，我们能够产生更加高效的、实用的、端到端的自动机器学习方案。

演讲提纲：

1. 基于多表的自动机器学习背景综述
2. 自动拼表
   • 多表视图
   • 多表时序拼接
3. 自动特征
   • 特征衍生
   • 特征选择
4. 自动机器学习平台
   • 打造人人可用的 AutoML 平台
5. 基于多表的自动机器学习应用案例

听众受益点：

1. 了解自动机器学习，特别是多表自动机器学习现状和挑战
2. 了解多表自动机器学习技术（平台及应用案例）
3. 了解以上技术在工业界的落地情况

腾讯 PCG 有大量的推荐业务场景，比如腾讯看点、腾讯新闻、腾讯视频、QQ 空间、微视、腾讯浏览器等。优秀的推荐系统需要在线训练海量的稀疏数据，支持大规模分布式，持续增量上线，以及快速 A/B 实验扩缩容。更加复杂的推荐模型要求我们逐步使用 GPU 等加速硬件。

这次演讲我将介绍 PCG AI 中台的无量推荐系统如何解决这些技术难点，同时让技术足够通用、可扩展，能够以工业化的中台高效率服务多个不同业务。

演讲提纲：

1. 无量推荐深度学习框架的架构，难点，方案，和未来工作：
   • GPU 在推荐系统的应用和难点（如增加打分 batch size，提高单机计算密度，拆分部分 Sparse 计算到 CPU，其余放在 GPU。多 GPU Embedding 分片等）
   • 和 TensorFlow 等开源框架融合时的 API 设计，在功能扩展的同时不影响原生 Feature Column，Estimator，Keras API 的使用
   • 参数的动态变长，自动淘汰，训练时量化压缩等功能扩展
2. 推荐系统的核心难点，比如模型管理，线上 Serving，A/B 实验等
   • 多模型多服务的自动扩缩容（分钟级百节点），支持线上 A/B 实验频繁的流量调整
   • 使用一套统一的 Serving 架构支持大规模精排，召回和传统 CV/NLP 场景
   • 上千节点 Serving 服务技术瓶颈的解决

听众受益点：

1. 推荐系统如何同时解决易用性（支持开源 TF/PyTorch），推荐特性（海量稀疏数据，千亿特征），线上服务（快速 A/B，自动化上线）
2. 在推荐系统应用时其他常见的问题，如特征对齐，云架构，数据分发
3. 更复杂推荐模型（带 Attention，RNN，Multi-Expert，多目标，多模态）的 GPU 加速
4. 展望推荐系统未来技术的演进方向