毕业于清华大学和哥伦比亚大学。现就职于Uber,专注于解决基于 Kafka 的基础数据平台的分布式,高并发和高可用性问题。
毕业于清华大学和哥伦比亚大学。现就职于Uber,专注于解决基于 Kafka 的基础数据平台的分布式,高并发和高可用性问题。
Uber 拥有20+ Kafka 集群来处理系统和 App 的数据,其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量,并且要保证拷贝中不会丢失数据,这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中,Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。
在这个演讲中,我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator,uReplicator/Federated uReplicator 的架构和技术细节,在开发过程中遇到的问题并且如何解决的。
演讲提纲:
听众受益点: