2014年加入滴滴出行,目前就职于滴滴出行基础平台部,具有丰富的大数据架构经验,目前负责公司级的数据通道服务、Kafka服务,数据检索服务的架构设计与研发工作,峰值流量10GB/S,日增数据800TB。
2014年加入滴滴出行,目前就职于滴滴出行基础平台部,具有丰富的大数据架构经验,目前负责公司级的数据通道服务、Kafka服务,数据检索服务的架构设计与研发工作,峰值流量10GB/S,日增数据800TB。
滴滴每天服务几千万人次出行的过程中,产生了海量的行为、日志(log/binlog)数据,这些数据需要及时、完整的同步到大数据体系中,以满足数据仓库,实时计算、Trace与监控系统、安全管控平台,客服与Miss系统等场景的数据同步需求。面对数以万计的服务节点,数以千计的数据库实例,复杂的线上环境,严格的资源消耗,秒级的延时要求,提供一个稳定、及时、安全、易用的数据通道是一个充满挑战的问题。
本次我将分享滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。
演讲提纲:
1、问题与挑战
2、架构与优化
2.1 架构1.0--简单、快
2.2 架构2.0--稳定、易用
2.3 架构3.0--及时、完整
3、总结与规划
听众受益: