滴滴亿级TPS数据通道架构实践

所属专题:高性能业务架构

所属领域:

嘉宾 : 张亮 | 滴滴出行高级技术专家

会议室 : 二层 2号厅A

讲师介绍

专题演讲嘉宾:张亮

滴滴出行 高级技术专家

2014年加入滴滴出行,目前就职于滴滴出行基础平台部,具有丰富的大数据架构经验,目前负责公司级的数据通道服务、Kafka服务,数据检索服务的架构设计与研发工作,峰值流量10GB/S,日增数据800TB。

议题介绍

地点:二层 2号厅A
所属专题:高性能业务架构
所属领域:

演讲:滴滴亿级TPS数据通道架构实践

滴滴每天服务几千万人次出行的过程中,产生了海量的行为、日志(log/binlog)数据,这些数据需要及时、完整的同步到大数据体系中,以满足数据仓库,实时计算、Trace与监控系统、安全管控平台,客服与Miss系统等场景的数据同步需求。面对数以万计的服务节点,数以千计的数据库实例,复杂的线上环境,严格的资源消耗,秒级的延时要求,提供一个稳定、及时、安全、易用的数据通道是一个充满挑战的问题。

本次我将分享滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。

演讲提纲:

1、问题与挑战

  • 问题
  • 挑战

2、架构与优化

2.1 架构1.0--简单、快

  • 2.1.1 架构关注点
  • 2.1.2 架构图
  • 2.1.3 存在的问题

2.2 架构2.0--稳定、易用

  • 2.2.1 架构关注点
  • 2.2.2 架构图
  • 2.2.3 存在的问题

2.3 架构3.0--及时、完整

  • 2.3.1 架构关注点
  • 2.3.2 架构图

3、总结与规划

听众受益:

  1. 如何打造亿级TPS的实时数据通道,架构设计背后的思考,平台化建设的思路
  2. 如何保障数据的及时性、完整性
  3. 如何进行数据链路的延时与故障检测
  4. 如何进行故障的快速恢复
  5. 如何进行全局性的限流与降级