专题演讲嘉宾：伍思磊

行业对精细化运营、降本提效的诉求愈来愈高，作业帮大数据采集体系逐步从传统的 YARN 自运维架构向云原生迁移，将阐述基于云原生的数据采集体系的架构升级思路。

作业帮原自运维数据采集架构存在单点故障、性能延迟、运维繁琐、资源成本高、新数据源扩展困难等诸多痛点。本次演讲会就作业帮的数据库采集从 Canal 迁移到 Flink-CDC、日志采集从虚拟机迁移到容器化的实践过程进行讲解，并阐述在这一过程中是如何基于云原生能力进行构建、验证，分享在迁移过程中遇到的技术难点、踩坑实践。

最后，对作业帮数据采集体系的未来规划进行分享、展望。

演讲提纲：

1. 背景
   • 作业帮数据平台全景
2. 作业帮云原生数据采集的架构升级
   • 业务诉求与痛点
     • SLA：数据采集的稳定性与时效性挑战
     • 快速扩展：新数据源如何敏捷接入
     • 合规：不断提升的数据安全诉求
   • 架构设计目标
   • 数据采集体系架构升级与落地思路
     • 云原生采集与湖仓一体接入
     • 平台化建设与多租户隔离
3. 作业帮云原生数据采集的迁移实践
   • 数据库采集：从 Canal 到 Flink-CDC
     • Canal vs CDC：业务痛点与迁移收益
     • 千表无缝迁移方案
   • 日志采集：从虚拟机到容器化
     • 作业帮日志采集的痛点与解法思路
     • 百万级 CPS 流量日志采集的容器化迁移方案
4. 未来规划

你将获得：

• 了解基于云原生的大数据采集体系构建思路
• 了解 Canal 到 Flink-CDC 的大规模生产迁移实践
• 了解海量日志采集的容器化方案与迁移实践