小红书云原生实时数仓的建设与实践

所属专题:云原生大数据实践

嘉宾 : 王成 | 小红书 OLAP 研发专家

会议室 : 大宴会厅3

讲师介绍

专题演讲嘉宾:王成

小红书 OLAP 研发专家

硕士毕业于清华大学,目前负责小红书 OLAP 方向的研发工作,主要包括云原生 ClickHouse、湖仓一体化的研发与落地,有丰富的 OLAP 架构经验。

议题介绍

演讲:小红书云原生实时数仓的建设与实践

ClickHouse 是目前最热门的 OLAP 引擎,极致的分析性能使其在越来越多的公司内得到推广和使用。小红书从 2019 年开始在公司内使用和推广 ClickHouse,目前在公司内部署了数十集群,上千台节点,支撑了公司所有业务的实时分析场景。不过随着业务的增长,ClickHouse存算不分离的架构,在运维管理、成本控制等方面的劣势进一步显现。因此小红书 OLAP 团队结合业务使用中的痛点,以及云上部署的特点,设计并实现了一套云原生的 ClickHouse 产品,从而显著提升了系统的可靠性和扩展性。立足于云原生 Clickhouse,我们进一步推动了 LakeHouse 建设,显著降低了数据准备成本,扩展了 ClickHouse 的使用场景。本次分享将为你小红书云原生 ClickHouse 的演进,希望为你带来启发。

演讲提纲:

  1. 背景
  2. 云原生clickhouse建设
    • 云原生存算分离分层架构
    • 基于对象存储的查询性能优化
    • 容器化部署和弹性扩展实践
    • 针对海量数据实时分析场景的优化
  3. 业务落地
  4. 湖仓一体建设
  5. 未来规划

你将获得:

  • 了解小红书在 ClickHouse 大规模使用中遇到的痛点
  • 了解小红书在 ClickHouse 云原生架构设计上的思考与探索
  • 了解小红书在 LakeHouse 上的思考与探索
票务小姐姐