专题演讲嘉宾：关立胜

在 CDH to AWS 的迁移过程中，基于传统的 Hive ETL 方案无论在性能、实效性和可维护性上已经跟不上业务的诉求。Hudi 的快速入湖 + Presto 的快速查询，再结合 Schema registry/evolution，良好的数仓分层设计，为构建现代数据平台提供了主要组件。最终效果是对关键数据的端到端时延控制在15分钟以内，比较好的支撑了业务发展。同时 Hudi + Spark 也极大提高了推荐系统数据流效率，和节省了 AWS 开支。

演讲提纲：

1. Legacy CDH pipeline 现状
2. Hudi and schema registry-based near-realtime data ingestion (ELT)
3. Tiered data warehouse design (ETL)
4. Presto engine (and alluxio as cache)
5. Spark SQL + Hudi for neal real-time feature data pipeline.

你将获得：

• Schema registry + Hudi + Presto/Spark 这比较主流三件套的组合拳
• Feature Data Pipeline on Hudi 的一些常识
• 2C 数仓设计的一些理念，尤其是有多个数据源和漏斗模型