专题演讲嘉宾：顾汉杰

随着数字化产业的不断发展，数字化运营、实时大屏、监控告警、交互式报表等逐渐成为日常业务刚需，业务对时效性和灵活性的需求正变得越来越强烈，实时数据分析系统正逐步成为驱动业务发展的核心引擎。与自建 OLAP 相比，在云上提供云原生的数据分析服务，在成本、资源弹性和运维管理等方面具有很大优势，但同时，在规模和稳定性上却面临诸多挑战。

我们基于 Presto 提供 PB 级日志分析服务，不仅面向阿里巴巴集团和蚂蚁集团数千个研发团队，更广泛服务于云上百万用户，随着业务发展，系统规模不断扩大，目前系统每天处理8亿次查询，千万亿级数据行，PB 级数据大小，同时要满足海量用户的高并发、低延迟查询。用户对服务的可用性、并发度、稳定性、资源的弹性扩展和调度等方面都提出了更高的挑战和要求。

本次分享主要介绍我们在应对这些挑战过程中的系统架构演进和优化实践。

演讲提纲：

1. 阿里云实时日志分析场景的介绍
2. 云上超大规模分析系统面临的主要挑战
   • 被用户业务高度集成，系统的高可用保证
   • 面对用户数和数据规模不断扩大，系统的可扩展性
   • 面对延时敏感的监控告警等分析场景，系统低延迟的秒级查询能力
   • 单次查询数据规模达到千亿级别时，如何高效且弹性/按需提升算力
   • 高峰时刻如何应对线上数万用户的同时高并发查询压力
3. 应对上述挑战的系统架构演进和核心技术
   • 系统高可用
     • Presto 分布式架构改造
   • 秒级查询能力
     • 列式存储、数据本地性、多级缓存、索引和计算下推等多维度的性能优化
   • 千亿级别计算规模下的弹性算力实现
     • 存储计算架构分离
   • 高并发能力
     • 单节点的极致性能提升
     • 架构的横向扩展
4. 系统演进总结及未来方向

你将获得：

• 了解云上实时分析系统在大规模数据分析场景中所面临的挑战和问题
• 阿里云日志实时分析系统在应对以上挑战时的系统演进、思考和实践