专题演讲嘉宾：陈奉刚

兴盛优选大数据在开始阶段使用开源的调度系统进行 ETL 任务的调度，随着业务的发展，我们很快碰到了任务会偶现大面调度失败的问题，同时随着任务的增多，如何有效的管理任务之间的依赖关系也是问题。通过相关的技术分析，我们决定基于 DolphinScheduler 进行自研，分别从管理以及调度节点进行可扩展和容灾的增强，经过一年的努力，当前系统每天支持万级任务数十万次的稳定调度，基于调度节点的横向可扩展，系统支持每天百万级的调度。未来会将调度节点进一步 Severless 化，实现调度节点的实时弹性，进一步增强调度系统的弹性。

演讲提纲：

1. 百万级任务调度系统的挑战
2. 分布式任务调度系统的实践
   • 管理节点和调度节点的分离
   • 管理节点的容灾设计
   • 调度节点的横向扩展设计
   • 调度节点的故障容灾设计
3. 未来规划

你将获得：

• 了解高并发情况下任务调度系统的挑战和痛点
• 学习到分布式调度系统的设计方法