7 年大数据及机器学习领域基础设施相关经验。主导过数据平台、报表平台和任务调度等系统建设。当前负责美团大数据及机器学习基础设施,推动并主导云原生改造。

7 年大数据及机器学习领域基础设施相关经验。主导过数据平台、报表平台和任务调度等系统建设。当前负责美团大数据及机器学习基础设施,推动并主导云原生改造。
美团大数据和机器学习基础设施早期基于 Yarn 构建,随着业务变得复杂和业界云原生蓬勃发展,渐渐暴露出各类问题,对基础设施的架构升级变得有必要。由于机器数量庞大,业务复杂度高,且机器学习场景具备对调度语义要求高、调度吞吐低及功能扩展性高的特征,在实践过程中采取了先对机器学习场景云原生化改造,逐步完成所有场景云原生改造的路径。目前已经完成自研多租户多队列的离线调度器、容器网络改造、存储接入、Training on K8s、Spark on K8s等工作,每天在数万机器、数万张 GPU卡上跑着机器学习训练任务、预测服务、Spark App 和 Presto 查询等各类作业。
演讲提纲:
你将获得:



