行业对精细化运营、降本提效的诉求愈来愈高，作业帮大数据采集体系逐步从传统的 YARN 自运维架构向云原生迁移，将阐述基于云原生的数据采集体系的架构升级思路。

作业帮原自运维数据采集架构存在单点故障、性能延迟、运维繁琐、资源成本高、新数据源扩展困难等诸多痛点。本次演讲会就作业帮的数据库采集从 Canal 迁移到 Flink-CDC、日志采集从虚拟机迁移到容器化的实践过程进行讲解，并阐述在这一过程中是如何基于云原生能力进行构建、验证，分享在迁移过程中遇到的技术难点、踩坑实践。

最后，对作业帮数据采集体系的未来规划进行分享、展望。

演讲提纲：

1. 背景
   • 作业帮数据平台全景
2. 作业帮云原生数据采集的架构升级
   • 业务诉求与痛点
     • SLA：数据采集的稳定性与时效性挑战
     • 快速扩展：新数据源如何敏捷接入
     • 合规：不断提升的数据安全诉求
   • 架构设计目标
   • 数据采集体系架构升级与落地思路
     • 云原生采集与湖仓一体接入
     • 平台化建设与多租户隔离
3. 作业帮云原生数据采集的迁移实践
   • 数据库采集：从 Canal 到 Flink-CDC
     • Canal vs CDC：业务痛点与迁移收益
     • 千表无缝迁移方案
   • 日志采集：从虚拟机到容器化
     • 作业帮日志采集的痛点与解法思路
     • 百万级 CPS 流量日志采集的容器化迁移方案
4. 未来规划

你将获得：

• 了解基于云原生的大数据采集体系构建思路
• 了解 Canal 到 Flink-CDC 的大规模生产迁移实践
• 了解海量日志采集的容器化方案与迁移实践

随着顺丰数字化进程持续深入，业务所产生的数据量延续高速增长态势，给大数据平台带来了成本、效益方面的挑战，主要体现在高峰应对成本高、容灾算力资源浪费、数据时效性不足等。

本次分享将介绍顺丰基于内部降本增效的诉求，构建湖仓一体、存算分离、多机房融合的大数据平台方面的实践，在保障业务数据时效、数据安全及容灾的前提下，实现大数据平台的降本增效。

演讲提纲：

1. 背景及趋势
   • 顺丰大数据业务全景
   • 大数据平台发展趋势
2. 顺丰大数据平台架构升级
   • 存算一体、湖仓分离、生产与容灾分离带来的问题
   • 顺丰大数据平台全景图
   • 核心能力介绍
     • 融合存储
     • 数据组织
     • 融合计算
3. 顺丰大数据架构在内外部的应用实践
   • 内部：多机房跨云弹性伸缩大数据平台——降本增效、机房迁移、历史债务清理
   • 外部：多云管理与跨云融合分析——打通数据孤岛、统一使用体验

你将获得：

• 了解大数据平台发展趋势
• 了解大数据平台弹性伸缩能力如何建设
• 了解混合云大数据平台、湖仓一体架构的优势

通常数据时效性越高，价值越大。随着实时计算、数据湖等技术的日趋成熟，数据实时化的需求增长迅速，传统大数据平台能力在应对实时化需求时表现出资源利用率低、弹性能力差、智能化程度低等问题，而解决这些问题也成为数据平台发展的新趋势。

本次分享将介绍京东集团实时数据平台在不断推动数据实时化的基础上，针对上述问题进行的一些探索及实践，包括实时链路端到端云原生底座能力的打造、数据实时化的整体方案以及如何不断提升平台的智能程度，实现降本提效等。最后，对平台的后续发展进行展望。

演讲提纲：

1. 平台定位及规模
   • 业务及定位
   • 平台规模现状
2. 架构演进及实践
   • 云原生/容器化实践
     • 实时平台架构及容器化现状
     • JDQ on JDOS
     • 实时计算弹性伸缩
     • 跨机房能力
   • 数据实时化
     • 实时采集替换离线
     • 基于增量的准实时链路
   • 平台智能化
     • 低代码开发
     • 智能调度
     • 作业健康度
3. 未来规划

你将获得：

• 了解大数据平台云原生的实践经验
• 了解数据实时化的技术方案及思路
• 了解如何打造平台智能化能力

Data Mesh 是一种为了规模化分析型用例而获取、管理和访问数据的新方法。它通过解决传统数据架构中存在的问题，如数据孤岛、数据质量低下和数据治理缺乏等，来实现数据的高效管理和利用。

在本次演讲中，我们将探索 Data Mesh 的定义、原则和架构，并分享如何克服数据治理的挑战、如何实施 Data Mesh 以及获得其带来的收益。

演讲提纲：

1. 传统数仓的挑战
2. Data Mesh 的核心思想
3. Data Mesh 的收益
4. 实施 Data Mesh 的步骤
5. Data Mesh 的适用场景和未来展望

你将获得：

• 更好地理解 Data Mesh 的核心思想和实现方法，从而能够在自己的组织中推动 Data Mesh的实施，提高数据质量和价值，提高团队效率和灵活性，降低风险和增强团队协作。
• 了解如何在 Data Mesh 的实施过程中管理和处理数据质量和安全问题，从而能够更好地保障组织内部数据的质量和安全性，确保数据可以被正确地使用和共享，同时保护用户隐私和数据安全。
• 了解 Data Mesh 的挑战和限制，包括复杂性、技术支持和文化变革等方面，从而能够更好地规划和准备实施 Data Mesh 的过程，避免在实施过程中遇到不可预知的问题和风险。