专题演讲嘉宾:吴通

美团数据平台资源与系统组负责人

7 年大数据及机器学习领域基础设施相关经验。主导过数据平台、报表平台和任务调度等系统建设。当前负责美团大数据及机器学习基础设施,推动并主导云原生改造。

by 吴通

美团
数据平台资源与系统组负责人

美团大数据和机器学习基础设施早期基于 Yarn 构建,随着业务变得复杂和业界云原生蓬勃发展,渐渐暴露出各类问题,对基础设施的架构升级变得有必要。由于机器数量庞大,业务复杂度高,且机器学习场景具备对调度语义要求高、调度吞吐低及功能扩展性高的特征,在实践过程中采取了先对机器学习场景云原生化改造,逐步完成所有场景云原生改造的路径。目前已经完成自研多租户多队列的离线调度器、容器网络改造、存储接入、Training on K8s、Spark on K8s等工作,每天在数万机器、数万张 GPU卡上跑着机器学习训练任务、预测服务、Spark App 和 Presto 查询等各类作业。

演讲提纲:

  1. 美团大数据和机器学习基础设施早期形态和架构升级背景介绍
  2. 美团大数据和机器学习基础设施云原生改造的实践过程
  3. 大规模集群实践过程中的关键问题和思考
  4. 未来规划

你将获得:

  • 了解大规模集群架构升级的完整过程及关键问题
  • 云原生在大规模集群从 0 到 1 落地的经验
票务小姐姐