快手万亿级实时 OLAP 平台的建设与实践

所属专题:快手科技技术专题

所属领域:

嘉宾 : 李远策 | 快手科技大数据平台架构师

会议室 : 一层 5号厅AB

讲师介绍

专题演讲嘉宾:李远策

快手科技 大数据平台架构师

快手大数据平台架构师,数据查询引擎团队负责人。负责公司 SQL 引擎、OLAP 引擎、多维可视化平台的研发以及在公司的应用。曾供职于奇虎360,是开源项目 XLearning 的作者。主要研究领域包括分布式计算、OLAP 引擎、SQL on Hadoop、AI on Hadoop 等。

议题介绍

地点:一层 5号厅AB
所属专题:快手科技技术专题
所属领域:

演讲:快手万亿级实时 OLAP 平台的建设与实践

大数据场景下实时多维分析能力极大提升了公司对数据探索的效率。快手大数据架构团队采用开源 Druid+Superset 的方案建设公司万亿级别实时 OLAP 平台。平台上线半年已经接入近 2000 数据源,日摄入消息数达 5000 亿,平均查询时延百毫秒级,在质量监控、事件分析、A/B Test 等业务场景广泛使用。

本次分享会详细介绍快手 OLAP 平台的演进过程、平台的建设经验以及在大规模场景下遇到的问题和解决思路。

演讲提纲:

  1. 快手 OLAP 平台背景和技术架构;
  2. 介绍平台建设中遇到的问题和解决思路;​
  3. 典型的多维分析案例介绍;
  4. 平台现存的痛点以及未来规划。

听众受益:

  1. OLAP 平台主要解决哪些业务场景;
  2. 如何从 0 建设一个可以支撑万亿级别的实时 OLAP 平台;
  3. 在建设过程中会遇到哪些问题已经如何解决;
  4. 一起讨论 OLAP 平台未来的产品形态。