Uber搭建基于Kafka的跨数据中心拷贝平台

所属专题:数据基础平台构建技术

所属领域:

嘉宾 : 徐宏亮 | UberSenior Software Engineer

会议室 : 一层 5号厅CD

讲师介绍

专题演讲嘉宾:徐宏亮

Uber Senior Software Engineer

毕业于清华大学和哥伦比亚大学。现就职于Uber,专注于解决基于 Kafka 的基础数据平台的分布式,高并发和高可用性问题。

议题介绍

地点:一层 5号厅CD
所属专题:数据基础平台构建技术
所属领域:

演讲:Uber搭建基于Kafka的跨数据中心拷贝平台

Uber 拥有20+ Kafka 集群来处理系统和 App 的数据,其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量,并且要保证拷贝中不会丢失数据,这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中,Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。

在这个演讲中,我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator,uReplicator/Federated uReplicator 的架构和技术细节,在开发过程中遇到的问题并且如何解决的。

演讲提纲:

  1. Uber 的跨数据中心 replication 用例
  2. 为什么 Uber 要开发 uReplicator
  3. uReplicator 架构
  4. Federated uReplicator架构

听众受益点:

  1. Uber 在用 MirrorMaker 时遇到的问题,并且如何用 uReplicator 解决;
  2. 了解 uReplicator 的架构及部署;
  3. 了解在开发 uReplicator 中遇到的跨数据中心 replication 的问题及解决方案。