关注最新的大数据处理技术,以及互联网公司的大数据基础设施实践。Bigdata+A... 展开 >





美团数据平台架构师,曾负责美团离线计算平台和美团机器学习平台,关注大规模分布式计算存储技术,异构计算技术,大数据分析处理与深度学习基础架构。
关注最新的大数据处理技术,以及互联网公司的大数据基础设施实践。Bigdata+AI 统一架构探索与实践是业界目前一些大互联网大公司的技术趋势。
为了解决传统 Hive 数仓的问题,B 站的 OLAP 平台团队基于 Iceberg 打造了湖仓一体平台,使其兼具数据湖的灵活和数仓的高效,并提供智能化服务降低用户使用门槛。
本议题将介绍我们如何借助湖仓一体提升用户的用数取数体验,以及我们在预计算和星型模型优化方面取得的最新进展。
演讲提纲:
你将获得:
在美团 AdHoc 场景中有两个查询引擎,Spark 支持复杂查询场景,Presto 来支持简单高性能场景,对分析师使用成本很高,我们通过结合机器学习算法实现智能路由策略、SQL 方言自动改写等方法降低用户使用成本。
本议题我将详细介绍架构选型和实现原理,期待给你带来收获。
演讲提纲:
你将获得:
上线机器学习模型是非常具有挑战的。事实上,大量的机器学习项目未能顺利地上线,最困难的问题之一就是数据。大多数 AI 平台都与数据平台脱节,这使得保持特征的不断更新和实时可用,就变得很困难。离线/在线偏差会阻止模型在实时场景的应用,甚至更糟糕的是,在生产中引入了错误和偏差。
鉴于以上的问题,在 eBay 的机器学习部门,我们探索并构建了完整的数据解决方案,我们称之为统一特征仓库。我们的特征仓库不仅支持传统的离线特征,还支持实时特征,并且在平台层就保证了离线/在线的一致性。另外,我们还做了针对特征的专门的生命周期管理。通过统一特征平台,我们大大简化了数据科学家对特征的使用,十倍提升了特征的 TTM (time-to-market) ,从根本上加快了机器学习模型的开发和上线。
演讲提纲:
你将获得:
对于社交网络、金融风控等大数据领域,业务一般会利用 Graph 系统(如 Google Pregel、Spark GraphX 等)来高效地执行复杂的图算法,其比传统的 Data 系统更快。但随着相关领域大数据业务的发展,基于 Spark GraphX 的图计算方式存在一些问题,例如这种方式需要先通过 Spark Streaming 接收流式数据并进行清洗,然后周期性的全量构图,最后使用 Spark GraphX 做全量图迭代,这样实现一方面会导致业务链路较长,另一方面实时性无法满足。在蚂蚁内部,我们实现了一套自研的流式图计算引擎 Geaflow,天然契合金融风控等业务场景需求,能有效满足业务秒级时序增量的要求,同时为业务带来显著收益。
本议题将为你分享自研的流式图计算引擎 Geaflow 的技术实践,希望能够为你带来启发。
演讲提纲:
你将获得:



