华为机器翻译模型训练推理加速实践

所属专题:AICon全球人工智能与机器学习技术大会

嘉宾 : 魏代猛 | 华为2012实验室/机器翻译算法负责人

会议室 : 会议厅5

讲师介绍

专题演讲嘉宾:魏代猛

华为2012实验室/机器翻译算法负责人

北京大学机器学习硕士,10 年华为工作经验,从 0 到 1 构建华为机器翻译模型,参与华为机器翻译模型的每个语种训练调优。华为机器翻译模型现已支持近 100 种语言互译,除了有力支撑华为 30 万员工内部办公交流等场景外,还支撑着华为各个产品和服务的机器翻译,包括华为手机、华为音箱、华为手表和 HMS 以及华为云等业务。

参加国际机器翻译比赛 WMT、IWSLT、WAT 等,获得多项第一名,现已发表 20+ 论文和专利。

议题介绍

演讲:华为机器翻译模型训练推理加速实践

机器翻译是深度学习典型的端到端落地的场景,但是一个好的机器翻译模型,往往需要数以亿计的高质量双语语料来训练。如何在如此大规模的数据训练中提升速度,是一个需要关注的问题。同时机器翻译模型也非常庞大,如何支撑大模型的高效推理也是机器翻译落地中需要解决好的大问题。

华为机器翻译模型使用华为自研机器学习框架 Mindspore + 华为的昇腾芯片,并且通过优化模型结构和训练策略提升训练速度,通过“模型结构优化 + 华为自研推理框架 Optimus + 机器翻译定制的优化算子”提升推理速度。优化后机器翻译模型训练速度可以提升 5 倍多,推理速度提升 20 倍。

本次分享将给你带来华为机器翻译模型训练推理加速实践。

演讲提纲:

  1. 机器翻译及工程落地简介
    • 机器翻译发展流程
    • 大数据量机器翻译训练难题
    • 大模型机器翻译模型推理难题
  2. 华为机器翻译模型整体架构
    • 华为自研训练框架 MindeSpore 和 AI 芯片昇腾
    • 训练提速策略和效果
    • 华为自研机器翻译推理框架 Optimus
    • 推理提速策略和效果
  3. 总结:基于业务的梯度下降,生成最佳 AI 翻译架构

你将获得:

  • 深度学习训练推理加速的具体策略
  • 针对 NLP 典型任务如何深度理解业务并针对性制定提速方案
  • 机器翻译常见且有效的训练推理提速方法
票务小姐姐