基于云原生Serverless和消息服务技术采集全球分布业务数据实践

所属专题:基础架构的升级探索

嘉宾 : 马腾 | 微软(中国)有限公司全渠道事业部架构师团队/资深云解决方案架构师

会议室 : 大宴会厅3

讲师介绍

专题演讲嘉宾:马腾

微软(中国)有限公司全渠道事业部架构师团队/资深云解决方案架构师

工作20余年一直从事技术研发,项目管理及云解决方案设计工作。先后就职于 BEA,Oracle,阿里云,微软。技术方向专注在云原生开发/架构设计,数据分析领域。参与过很多企业及互联网项目,例如在数据分析领域,主导架构设计和交付的项目:玛氏大数据平台设计(包含数十个子项目和业务产品分支),知乎用户行为分析项目(Hadoop,Azure SQL,Azure Analysis Service,Power BI),小米大数据平台海外商业数据采集(Azure Data Factory,Azure Functions,Azure Service Bus)。

议题介绍

演讲:基于云原生Serverless和消息服务技术采集全球分布业务数据实践

项目服务的客户是中国Top3的手机厂商和互联网公司,海外业务全球分布(美洲,亚洲,欧洲,非洲等),由于各区域的数据合规性要求,每个业务系统数据需要在各个洲独立存储,出于集团业务数据统一分析的诉求,需要将全球的业务数据同步到中国国内的数据分析平台进行处理分析,并根据不同的业务场景实施不同的实时性要求。主要是准实时(1分钟内)和每天定期同步。

常规的 ETL/ELT 工具在跨国的网络稳定性和实时性上遇到挑战,本次演讲将通过无服务器技术(事件驱动架构)和消息服务架构(异步机制的可靠传递高价值数据)解决数据同步的准实时性,最终满足客户诉求。

演讲提纲:

  1. 解决方案背景介绍
  2. 参与选型的多种方案架构优劣势对比
  3. 解决方案技术关键点及难点分享
    • 数据同步的Serverless计算资源可靠扩性和可靠性
    • 计算实例低延迟启动
    • 可靠消息传递,消息不丢不重,先进先出
    • 异常消息监控及补偿事物处理
    • 消息并发处理机制
  4. 技术架构设计
  5. 经验总结

你将获得:

  • 无服务技术加消息服务在数据同步场景中的设计思路
  • 无服务技术加消息服务实现数据同步实时性及准实时性的技术难点
票务小姐姐