Clickhouse 在快手的大规模应用与架构改进

所属专题:数据中台的建设与发展

所属领域:

嘉宾 : 李振炜 | 快手数据平台部 大数据架构工程师

会议室 : 二号厅A

讲师介绍

专题演讲嘉宾:李振炜

快手 数据平台部 大数据架构工程师

2015年硕士毕业后进入奇虎360,主要负责维护推广 Spark,经历了 Spark 在公司内部从0到1的发展,实现了 Hive 向 Spark SQL 的迁移;2018年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。

议题介绍

地点:二号厅A
所属专题:数据中台的建设与发展
所属领域:

演讲:Clickhouse 在快手的大规模应用与架构改进

Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。

演讲提纲:

  1. Clickhouse 在快手的应用现状
  2. Clickhouse on HDFS
    • Clickhouse 的痛点
    • Clickhouse on HDFS 的方案设计
    • Clickhouse on HDFS 的对比测试
  3. 后续 Clickhouse 改进计划

听众受益点:

  1. 了解 Clickhouse 在快手的应用场景
  2. 了解快手对 Clickhouse 的一些改进
  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务报名小助手豆包
或致电:010-84780850