顺丰大数据架构稳定性保障实践

所属专题:架构稳定性保障

嘉宾 : 林国强 | 顺丰科技有限公司大数据架构负责人

会议室 : 宴会厅2

讲师介绍

专题演讲嘉宾:林国强

顺丰科技有限公司大数据架构负责人

顺丰科技大数据架构负责人,曾任职深信服及新华三大数据总监,中国最早一批大数据和人工智能玩家,拥有超过 10 项大数据发明专利,负责过 10 亿级超大规模大数据项目,全国实施超过 10000 个大数据节点,承载和分析超过 1000PB 以上数据。在云原生实时数据湖方面有深入研究和落地实践,致力于简单、易用、高效的大数据基础设施技术,推动大数据赋能全球产业数字化底盘。

议题介绍

演讲:顺丰大数据架构稳定性保障实践

大数据发展至今,已经有近 10 年时间,在这 10 年时间里面,大数据架构发生了很多变化,而这些变化,不断冲击当前企业大数据架构,给业务部门和信息部门带来很大挑战。顺丰目前每天新增的数据规模是 200TB,总数据规模是 200PB+,在这样的规模下面,如何保证大数据架构稳定性?

本次演讲将会分享顺丰科技大数据团队的相关实战经验。

演讲提纲:

  1. 大数据架构历史变迁    
    • 洪荒期,MR架构,大规模数据分析    
    • 远古期,MPP架构,即席分析    
    • 近古期,Storm架构,实时分析    
    • 近现代,Flink流批一体架构、Spark内存迭代架构、HTAP湖仓一体架构    
    • 现如今,Hudi实时数据湖架构
  2. 架构稳定的关键因素
    • 扩展性    
      • 从公司业务发展角度考虑集群扩展能力 (10节点、100节点、1000节点)
    • 可用性    
      • HA、多Master、跨机房灾备
    • 开放性    
      • 从技术生态角度(SQL、ML、AI),考虑架构开放性
    • 易用性    
      • 面向业务端,提供透明架构能力,保障业务南向接口不变
    • 先进性      
  3. 未来大数据架构畅想    

你将获得:

  • 了解大数据架构进阶历程
  • 了解影响顺丰架构稳定性保障的关键因素

交通指南

深圳·大中华喜来登酒店

Sheraton Shenzhen Futian Hotel
地址:中国广东省深圳市福田区福华路福华路大中华国际交易广场
票务小姐姐