字节跳动超大规模 Metrics 数据采集的实践和探索

所属专题:可观测技术落地

嘉宾 : 刘浩杨 | 字节跳动基础架构高级开发工程师,Apache SkyWalking PMC

会议室 : 会议厅6

讲师介绍

专题演讲嘉宾:刘浩杨

字节跳动基础架构高级开发工程师,Apache SkyWalking PMC

目前在字节跳动负责可观测性数据采集和集成基础设施,覆盖数百万机器,日数十PB可观测数据。在 APM、云原生 PaaS 和微服务架构等方向都有深入研究。

议题介绍

演讲:字节跳动超大规模 Metrics 数据采集的实践和探索

字节在多年的业务发展过程中,逐渐形成了一套十分复杂的超大规模微服务体系。为了实现对这些复杂微服务的观测,我们构建了能够实时处理PB级别数据的可观测性基础设施,为公司整体业务的稳定性、性能优化、服务治理等方向保驾护航。为了降低整体资源消耗、提升性能,我们在数据采集链路上进行了一系列的架构升级和优化,目前已支撑公司数万微服务、数百万微服务实例、每秒数千亿级别的数据埋点。

本次分享主要介绍我们对可观测性数据采集技术内核和成本优化的实践经验。

演进提纲:

  1. 问题背景
    • 字节可观测性平台的演进
    • 超大规模数据采集的技术挑战
  2. 可观测数据采集架构
    • 数据采集架构演进
    • 整体可观测架构介绍
    • 数据采集核心链路
  3. 工程实践优化
    • SDK 内核
    • Agent 内核
  4. 未来展望
    • 统一的数据采集器 OneAgent
    • ToB 场景的探索

你将获得:

  • 了解字节在超大规模微服务场景下,可观测性数据采集的各类挑战
  • 了解超大规模下,可观测数据的采集技术内核以及成本优化实践
票务小姐姐