快手 K-Engine 高性能异构存储引擎演进之路

所属专题:数据库与存储技术

嘉宾 : 刘鑫 | 快手KV存储负责人

会议室 : 首府宴会厅5

讲师介绍

专题演讲嘉宾:刘鑫

快手KV存储负责人

现就职于快手平台研发部,担任存储平台组分布式KV存储负责人,拥有7年数据库架构开发经验。

曾就职于阿里云 PolarDB 团队,参与过多个数据库内核系统研发。多次参与国内/国际重要会议(PerconaLive/GoCommit)演讲分享。热衷于追踪分布式数据库系统/存储技术的前沿技术。

议题介绍

演讲:快手 K-Engine 高性能异构存储引擎演进之路

快手在各个基础架构组件都有用到存储引擎,存储的核心在于 I/O 的极致性能和良好的扩展性。K-Engine 针对开源/自研等异构存储引擎体系之上,做了很多方面的优化和定制,以满足不同业务对底层 KV 引擎的需求。

K-Engine 已经在存储组内部全面落地,作为多个数据库系统的引擎底座提供了更好的性能和可运维性,及部分中台系统中应用,并带来了明显的性能收益。本次分享,我主要是给大家介绍我们自研过程的技术细节和应用落地的探索。

演讲提纲:

  1. 快⼿ K-Engine 是什么 
  2. K-Engine RocksDB 深度定制和优化
  3. K-Engine在新型硬件场景的落地
  4. 基于 NVM 的 Hash Index 存储引擎
  5. 异构引擎形态的实践

你将获得:

  • 单机存储引擎在快手的深度优化
  • 不同类型存储引擎 LSM-tree,B-tree,Hash 在异构场景的落地
  • 新硬件红利,我们所做的优化及挖掘引擎的潜力
票务小姐姐