大模型时代的 AI 系统挑战。经过最近 10 年的高速发展，系统架构经历了快速的演化，从单体架构到微服务架构再到大数据架构，近几年 AI 系统逐渐成为主流，而在当下预训练大模型时代，AI 系统又面临新的问题和挑战。

通过本次分享，希望让听众了解到 AI 系统架构的新挑战，面对这些挑战有怎样的解决思路；针对这些问题，如何突破传统互联网架构设计面向大模型时代的系统架构。

演讲提纲：

1. 问题&挑战
   • 大模型预训练挑战
   • 灵活、复杂的下游任务的挑战
   • 海量模型和数据集的治理挑战
2. 方案&架构
   • 认知计算系统架构
   • 基于 Megatron 模型并行方案
   • 基于 Deepeed 的显存优化手段
   • 基于预训练模型与灵活下游调优的调度方案
   • 一体化的模型中心和数据集中心设计
3. 实战分享
   • 二郎神 50 亿模型的并行训练实战
   • GTSfactory 自动化模型生产平台介绍

你将获得：

• 了解预训练大模型 AI 系统面对的挑战和解决思路
• 学习大模型时代的计算优化、显存优化、调度优化手段
• 获得海量模型和数据集治理办法
• 了解 NLP 大模型训练案例分享