昇腾AI框架 MindSpore 大模型加速规划。超大规模集群训练加速解决方案规划。

昇腾AI框架 MindSpore 大模型加速规划。超大规模集群训练加速解决方案规划。
问题背景:在 ScalingLaw 的驱动下,万卡甚至十万卡集群训练成为大模型训练的标配,超大规模集群如何做到高可靠、高性能、易运维成为 AI Infra 面临的最大挑战。
解决方案:通过算力、通信融合优化,亲和性并行切分策略等手段实现高性能。通过故障预测、算网协同等实现高可靠。通过AI框架、多种调优工具和手段实现超大规模集群的优化运维。
实施后效果:超大规模集群实现性能提升,稳定性提升等。
演讲提纲:
听众受益点:



