阿里10PB+/天日志系统设计和实现

所属专题:运维新突破

所属领域:

嘉宾 : 孙廷韬(龙悟) | 阿里云高级技术专家

会议室 : 大宴会厅2

讲师介绍

专题演讲嘉宾:孙廷韬(龙悟)

阿里云 高级技术专家

阿里云高级技术专家,负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务,提供日志数据采集、智能查询分析、消费与投递等功能,全面提升海量日志处理/分析能力。在阿里集团,覆盖百万服务器,上万应用,单日采集数据超过10PB,为数千工程师提供简单易用的日志分析服务。

议题介绍

地点:大宴会厅2
所属专题:运维新突破
所属领域:

演讲:阿里10PB+/天日志系统设计和实现

阿里云日志服务作为阿里集团底层日志平台,提供完善易用的数据采集方案,PB 级数据实时索引和分析能力,在阿里集团被广泛应用,数千工程师直接使用日志服务进行日常问题排查,也有大量应用基于日志服务进行二次开发,如阿里集团所有大型 Trace 系统底层都使用日志服务。

演讲提纲:

1、介绍阿里云 10PB +/天日志系统如何运转

  • 核心功能介绍
  • 支持的场景和解决的问题

2、系统解决的核心技术难点

性能和成本

  • PB 级索引系统设计思路

多租户下稳定性实现

  • 流量秒级流控、防穿透
  • 自动负载均衡
  • 资源动态分配和隔离

系统管理

  • 百万级的客户端如何管理、监控、问题自助定位
  • 应用管理

3、面向运维场景的高级功能介绍 

  •  基于机器学习的时序数据智能诊断和预测
  •  超大规模日志实时智能聚类

4、应用实践

  •  阿里内部基于日志服务构建系统实践

听众受益点:

  1. 了解生产环境下 10( PB +/天)日志系统的设计和实现,以及在这背后的思考
  2. 了解系统如何稳定支持上万应用
  3. 了解如何基于日志数据进行智能运维,以及阿里内部应用实践

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务报名小助手豆包
或致电:010-84780850