在 CDH to AWS 的迁移过程中，基于传统的 Hive ETL 方案无论在性能、实效性和可维护性上已经跟不上业务的诉求。Hudi 的快速入湖 + Presto 的快速查询，再结合 Schema registry/evolution，良好的数仓分层设计，为构建现代数据平台提供了主要组件。最终效果是对关键数据的端到端时延控制在15分钟以内，比较好的支撑了业务发展。同时 Hudi + Spark 也极大提高了推荐系统数据流效率，和节省了 AWS 开支。

演讲提纲：

1. Legacy CDH pipeline 现状
2. Hudi and schema registry-based near-realtime data ingestion (ELT)
3. Tiered data warehouse design (ETL)
4. Presto engine (and alluxio as cache)
5. Spark SQL + Hudi for neal real-time feature data pipeline.

你将获得：

• Schema registry + Hudi + Presto/Spark 这比较主流三件套的组合拳
• Feature Data Pipeline on Hudi 的一些常识
• 2C 数仓设计的一些理念，尤其是有多个数据源和漏斗模型

随着 eBay 全球支付业务的发展，eBay 交易风控面临的挑战越来越多。AI 模型作为交易风险控制的不可或缺的手段在 eBay 交易风控系统中承担了至关重要的角色。越来越多的 AI 模型被部署在 eBay 交易风控业务的多个系统中为 eBay 支付业务保驾护航，因此，高效模型管理和快速部署上线就显得尤为重要。

为了实现 AI 模型的高效管理和快速部署，我们开发了基于元数据和配置驱动的AI模型管理和部署平台。它通过元数据对模型进行定义，通过配置的方式实现模型的快速集成和部署上线，避免了绝大部分的代码开发和人工部署的工作，通过这个平台，模型集成和部署的效率得到了数倍的提高，eBay 的数据科学家们甚至能够不需要工程师的参与下够能快速的部署上线自己的模型。

演讲提纲：

1. eBay 支付风控模型的生命周期管理及元数据定义
2. 模型训练到模型推断的统一
3. 通过配置实现模型的快速集成和部署上线
4. 风控模型服务的可观测性和监控

你将获得：

• 如何设计统一的模型管理元数据
• 如何通过配置实现快速的模型集成和部署
• 如何基于模型元数据做好模型监控

数据智能面临三大难题，数据价值很难得到充分挖掘，这里的难题包括：

1. 数据、AI如何成就业务：处于VUCA时代(Volatile, Uncertain, Complex, Ambiguous)，如何快速把相应业务的需求、系统驱动、数据驱动经营完善；
2. 技术门槛高，数据处理到AI开发，到最终实现业务价值，涉及几十道工序，技术门槛高，协作难度大；
3. 业务仿真难，如何借助数据与模型，模拟、验证、预测、控制业务的全生命周期。

解决方案：如何把数据、AI模型、应用深度结合，通过低代码方式将企业业务进行快速仿真，实现数据驱动的智能决策；

效果：通过数智流水线平台，华为实现财经、运营等领域核心业务场景，100% 实现系统智能辅助专家决策；

演讲提纲：

1. 企业数据驱动智能决策的痛点与难点
2. 何为企业数智融合
3. 华为数智融合的理念与关键技术
4. 数智领域世界级难题发布

你将获得：

• 全新的技术与业务理念，指导CTO、技术架构师们如何设计面向未来的大数据系统；
• 如何实现数据驱动的智能决策。

DAU 作为公司的核心 KPI 指标，在异常波动中，DQC 存在无法及时、准确的感知指标异常，针对这种情况，我们引入了机器学习算法，弥补了原 DQC 点状监控能力，实现了对 DAU 等核心指标异动更精准的监测报警，并联合分析师、产品把定位能力初步产品化，提升数据使用效率。

本次演讲，我会结合网易云音乐具体的场景案例来介绍技术过程。