毕业于厦门大学软件学院,eBay AI平台架构师。先后就职于花旗,IBM、Intel和eBay。长期从事大数据领域的工作,对大数据系统内核,实时计算,低延迟高并发的在线系统都有比较丰富的经验。参与并负责了英特尔Spark的优化,eBay海量数仓迁移,图计算平台以及特征平台的建设。

毕业于厦门大学软件学院,eBay AI平台架构师。先后就职于花旗,IBM、Intel和eBay。长期从事大数据领域的工作,对大数据系统内核,实时计算,低延迟高并发的在线系统都有比较丰富的经验。参与并负责了英特尔Spark的优化,eBay海量数仓迁移,图计算平台以及特征平台的建设。
上线机器学习模型是非常具有挑战的。事实上,大量的机器学习项目未能顺利地上线,最困难的问题之一就是数据。大多数 AI 平台都与数据平台脱节,这使得保持特征的不断更新和实时可用,就变得很困难。离线/在线偏差会阻止模型在实时场景的应用,甚至更糟糕的是,在生产中引入了错误和偏差。
鉴于以上的问题,在 eBay 的机器学习部门,我们探索并构建了完整的数据解决方案,我们称之为统一特征仓库。我们的特征仓库不仅支持传统的离线特征,还支持实时特征,并且在平台层就保证了离线/在线的一致性。另外,我们还做了针对特征的专门的生命周期管理。通过统一特征平台,我们大大简化了数据科学家对特征的使用,十倍提升了特征的 TTM (time-to-market) ,从根本上加快了机器学习模型的开发和上线。
演讲提纲:
你将获得:



