大数据与人工智能

会议室:宴会厅1
出品人:谢语宸

关注最新的大数据处理技术,以及互联网公司的大数据基础设施实践。Bigdata+A... 展开 >

专题出品人:谢语宸

美团高级研究员

美团数据平台架构师,曾负责美团离线计算平台和美团机器学习平台,关注大规模分布式计算存储技术,异构计算技术,大数据分析处理与深度学习基础架构。

地点:宴会厅1

专题:大数据与人工智能

关注最新的大数据处理技术,以及互联网公司的大数据基础设施实践。Bigdata+AI 统一架构探索与实践是业界目前一些大互联网大公司的技术趋势。

by 李锐

哔哩哔哩
OLAP 平台/资深开发工程师

为了解决传统 Hive 数仓的问题,B 站的 OLAP 平台团队基于 Iceberg 打造了湖仓一体平台,使其兼具数据湖的灵活和数仓的高效,并提供智能化服务降低用户使用门槛。

本议题将介绍我们如何借助湖仓一体提升用户的用数取数体验,以及我们在预计算和星型模型优化方面取得的最新进展。

演讲提纲:

  1. 为什么需要湖仓一体
  2. 如何通过湖仓一体支持高效的交互式分析场景
    • 数据组织优化
    • 索引
    • 预计算
    • 星型模型优化
  3. 经验总结与未来展望

你将获得:

  • 了解湖仓一体能解决的问题以及其架构
  • 了解基于 Iceberg 进行查询加速的思路

by 吴彪

美团
数据科学与平台部/技术专家

在美团 AdHoc 场景中有两个查询引擎,Spark 支持复杂查询场景,Presto 来支持简单高性能场景,对分析师使用成本很高,我们通过结合机器学习算法实现智能路由策略、SQL 方言自动改写等方法降低用户使用成本。

本议题我将详细介绍架构选型和实现原理,期待给你带来收获。

演讲提纲:

  1. 为什么需要统一引擎
  2. OneSQL 统一引擎整体架构
  3. OneSQL 实现原理
    • 解析层统一
    • 引擎预测
    • 方言改写
    • 异常诊断
  4. 未来展望

你将获得:

  • AdHoc 不同场景下多引擎语法函数兼容性、引擎选择实践经验
  • 查询统一引擎实现思路

by 俞育才

eBay
特征平台负责人

上线机器学习模型是非常具有挑战的。事实上,大量的机器学习项目未能顺利地上线,最困难的问题之一就是数据。大多数 AI 平台都与数据平台脱节,这使得保持特征的不断更新和实时可用,就变得很困难。离线/在线偏差会阻止模型在实时场景的应用,甚至更糟糕的是,在生产中引入了错误和偏差。

鉴于以上的问题,在 eBay 的机器学习部门,我们探索并构建了完整的数据解决方案,我们称之为统一特征仓库。我们的特征仓库不仅支持传统的离线特征,还支持实时特征,并且在平台层就保证了离线/在线的一致性。另外,我们还做了针对特征的专门的生命周期管理。通过统一特征平台,我们大大简化了数据科学家对特征的使用,十倍提升了特征的 TTM (time-to-market) ,从根本上加快了机器学习模型的开发和上线。

演讲提纲:

  1. AI生产化的数据痛点
  2. eBay的统一特征仓库
    • 离线特征处理
    • 实时特征处理
    • 特征的回溯和模拟
    • 特征的生命周期管理
  3. 特征仓库在业务部门的落地

你将获得:

  • 了解如何使用特征仓库来简化机器学习模型的开发与上线
  • 学习如何构建企业级的特征仓库

by 潘臻轩(泰初)

蚂蚁集团
资深技术专家

对于社交网络、金融风控等大数据领域,业务一般会利用 Graph 系统(如 Google Pregel、Spark GraphX 等)来高效地执行复杂的图算法,其比传统的 Data 系统更快。但随着相关领域大数据业务的发展,基于 Spark GraphX 的图计算方式存在一些问题,例如这种方式需要先通过 Spark Streaming 接收流式数据并进行清洗,然后周期性的全量构图,最后使用 Spark GraphX 做全量图迭代,这样实现一方面会导致业务链路较长,另一方面实时性无法满足。在蚂蚁内部,我们实现了一套自研的流式图计算引擎 Geaflow,天然契合金融风控等业务场景需求,能有效满足业务秒级时序增量的要求,同时为业务带来显著收益。

本议题将为你分享自研的流式图计算引擎 Geaflow 的技术实践,希望能够为你带来启发。

演讲提纲:

  1. 时序图介绍
    • 什么是图
    • 图的优势
    • 图的场景
    • 时序图
  2. Geaflow - 蚂蚁流式图计算引擎介绍
  3. 蚂蚁场景应用
    • 实时团伙挖掘
    • 实时反套现
    • 图计算 + AI融合
  4. 总结
    • 蚂蚁图计算 TuGraph 系统

你将获得:

  • 了解蚂蚁流式图计算引擎
  • 了解图计算在金融风控大数据领域中的重要价值和优势
  • 了解基于 Geaflow 大规模时序图计算系统在金融风控领域中的应用实践经验

交通指南

杭州·和达希尔顿逸林酒店

Shanghai Marriott Hotel Parkview
地址:杭州市钱塘区金沙大道600号
小姐姐