专题演讲嘉宾:任玉泉

字节跳动编排调度团队/架构师

拥有 8 年云原生相关开发设计以及开源社区经验,Kubernetes SIG-Storage 下多个项目发起人/维护人。于 2019 年加入字节编排调度团队,目前负责搭建字节离在线统一调度系统。

by 任玉泉

字节跳动
编排调度团队/架构师

随着字节 Kubernetes 集群规模的不断增大,业务种类的不断丰富,Kubernetes 原生调度器的性能已经是一个越来越明显的瓶颈。我们先是在 Kubernetes 原有框架基础上,结合字节业务特点,优化调度器实现,吞吐提升几十倍(约 1K+ Pods/s)。但是随着在离线融合工作的开展,优化后的调度器也无法在功能和性能上满足要求,所以我们又自研了一套分布式调度系统来解决这些问题,可以同时支持在离线的任务调度,吞吐已经可以达到 8K+ Pods/s,而且还在不断提升中。

演讲提纲:

  1. 在线业务场景
    • 现状以及调度系统面临的挑战:
      • 容器化业务种类越来越多,集群规模越来越大
      • 调度,抢占等延时增大,吞吐无法满足业务需求
      • 特殊场景,比如:弹性扩缩容,支持能力欠缺
    • Kubernetes 调度器优化思路,方法,效果
  2. 在离线融合业务场景(Kubernetes & YARN)
    • 新的挑战:
      • 业务种类进一步增加
      • 离线业务调度需求支持,如:Gang,Job level affinity 等
      • 吞吐和延时要求进一步提升
    • 新的分布式调度系统介绍,上线效果
  3. 字节调度系统优化的经验总结以及未来方向

你将获得:

  • 了解字节在解决大规模集群调度问题中的相关实践;
  • 了解在离线资源融合难点和字节的解决方法;
  • 借鉴字节分布式调度系统设计思路,真正融合,统一调度在离线任务。

交通指南

杭州·和达希尔顿逸林酒店

Shanghai Marriott Hotel Parkview
地址:杭州市钱塘区金沙大道600号
小姐姐