兴盛优选大数据在开始阶段使用开源的调度系统进行 ETL 任务的调度，随着业务的发展，我们很快碰到了任务会偶现大面调度失败的问题，同时随着任务的增多，如何有效的管理任务之间的依赖关系也是问题。通过相关的技术分析，我们决定基于 DolphinScheduler 进行自研，分别从管理以及调度节点进行可扩展和容灾的增强，经过一年的努力，当前系统每天支持万级任务数十万次的稳定调度，基于调度节点的横向可扩展，系统支持每天百万级的调度。未来会将调度节点进一步 Severless 化，实现调度节点的实时弹性，进一步增强调度系统的弹性。

演讲提纲：

1. 百万级任务调度系统的挑战
2. 分布式任务调度系统的实践
   • 管理节点和调度节点的分离
   • 管理节点的容灾设计
   • 调度节点的横向扩展设计
   • 调度节点的故障容灾设计
3. 未来规划

你将获得：

• 了解高并发情况下任务调度系统的挑战和痛点
• 学习到分布式调度系统的设计方法

大数据发展至今，已经有近 10 年时间，在这 10 年时间里面，大数据架构发生了很多变化，而这些变化，不断冲击当前企业大数据架构，给业务部门和信息部门带来很大挑战。顺丰目前每天新增的数据规模是 200TB，总数据规模是 200PB+，在这样的规模下面，如何保证大数据架构稳定性？

本次演讲将会分享顺丰科技大数据团队的相关实战经验。

演讲提纲：

1. 大数据架构历史变迁    
   • 洪荒期，MR架构，大规模数据分析    
   • 远古期，MPP架构，即席分析    
   • 近古期，Storm架构，实时分析    
   • 近现代，Flink流批一体架构、Spark内存迭代架构、HTAP湖仓一体架构    
   • 现如今，Hudi实时数据湖架构
2. 架构稳定的关键因素
   • 扩展性    
     • 从公司业务发展角度考虑集群扩展能力 （10节点、100节点、1000节点）
   • 可用性    
     • HA、多Master、跨机房灾备
   • 开放性    
     • 从技术生态角度（SQL、ML、AI）,考虑架构开放性
   • 易用性    
     • 面向业务端，提供透明架构能力，保障业务南向接口不变
   • 先进性      
3. 未来大数据架构畅想    

你将获得：

• 了解大数据架构进阶历程
• 了解影响顺丰架构稳定性保障的关键因素

中国移动长期采用"1+31"的两级 IT 系统布局，在数智化时代快速发展中产生了建设运维成本高、需求响应慢、持续熵增等问题。为解决这些问题，总部确定了构建全网智慧中台总体战略目标。在建设两级架构的业务中台过程中，构建了一套基于插件化的多租户系统架构及其配套运营机制。这套架构从数据模型、微服务、前端组件等多个维度实现了极致的拓展性和可配置性，真正实现多个省份业务中台核心能力的统一和复用。

演讲提纲：

1. 中国移动的“熵减”之路
   • 挑战和机遇
   • 智慧中台战略
2. 基于插件化的多租户架构
   •  模型可拓展
   •  服务可拓展
   •  前端组件可拓展
3. “1+N”运营机制
   •  一个核心+多个租户定制化团队
   •  多租户的版本迭代

你将获得：

• 了解中国移动的 IT 系统技术发展趋势
• 了解基于中台架构的大规模多租户系统的实践经验

过去数据库介绍高可用和稳定性，仅仅只看到多副本这种方式来保障数据库的高可用，但多副本只是高可用方式中 DBA 使用的最高频的一个手段，离真正的高可用，还有很长一段距离。数据库是一个庞大的系统，涉及到无数的模块，当数据库又是分布式数据库时，系统的复杂度又会增长一个量级，链路中的每一个模块都会给系统带来不确定性，真正的高可用需要完全实现全链路高可用。

本次分享，将以分布式数据库 OceanBase 12 年的发展为例，介绍数据库如何真正实现全链路高可用，从应用故障、网络故障、主机故障、备份系统、链路跟踪等底层技术上，实现全方位的数据库高可用和稳定性。

演讲提纲：

1. 数据库发展历程及面临的挑战
2. 数据库技术的第一驱动力
   • 应用驱动技术创新
   • 抽象与标准化
   • 全链路高可用效果
3. OceanBase 关键技术选择及架构方案
4. 企业级数据库未来规划
   • 原生分布式 HTAP
   • 读写分离
   • 未来展望

你将获得：

• 了解分布式数据库原理
• 了解 OceanBase 技术架构
• 了解如何实现数据库高可用
• 从真实场景深入理解高可用架构设计
• 多角度理解数据库高可用设计