随着业务发展，字节跳动发展出了基于 Kubernetes 实现的云原生大规模机器学习离线训练系统。目前已有30%的机器学习训练完成了从 Hadoop 的迁移。

在此背景下，我们将分享包括云原生离线训练系统架构、异构大规模弹性训练、多源海量数据编排等部分内容。着重介绍基于 Operator 实现的多角色、异构、弹性扩缩容机器学习资源管理系统。此外，还将分享深度学习数据框架 data.io 在多数据源混合、流批数据协同、伴生数据预处理、多阶段训练编排的实践经验。

在新的云原生机器学习的离线训练架构下可以更有效的利用机器资源池，统一资源调度入口。同时在 Kubernetes 的支持下实现更灵活的多角色调度，弹性扩缩容，提高资源利用率。新的深度学习数据框架 data.io 架构可以支持更高的数据消费吞吐，实现灵活得离线数据与实时数据混合编排。能够为算法工程师提供随意发挥创意的舞台, 更自由、灵活、高效地进行定制化训练。

演讲提纲：

1. 云原生机器学习训练系统简介
   • 云原生离线训练系统架构
   • 异构大规模弹性训练
   • 多源海量数据编排
2. 机器学习异构资源弹性训练
   • 基于 Operator 实现的多角色、异构、弹性扩缩容机器学习资源管理系统
3. 机器学习多源海量数据编排
   • 深度学习数据框架 data.io 在多数据源混合、流批数据协同、伴生数据预处理、多阶段训练编排的实践经验
4. 总结

你将获得：

• 多角色训练在 Kubernetes 平台上的资源调度实现方案
• 多源数据如何灵活高效地满足训练需求，实时、离线数据如何协同转换等