Spark 3.0 与 Delta Lake 新特性与业务案例

所属专题:大数据和AI结合的系统架构

嘉宾 : 王耿亮 | Databricks开源组/研发工程师

讲师介绍

专题演讲嘉宾:王耿亮

Databricks开源组/研发工程师

Apache Spark committer,参与了 Apache Spark SQL 和 Databricks 内部性能优化项目的开发。

议题介绍

演讲:Spark 3.0 与 Delta Lake 新特性与业务案例

Spark 3.0 将在 2020 年发布,其中包含了 Adaptive execution、Dynamic Partition Pruning、更好的深度学习支持等新功能。

Delta Lake 在过去的一年里在性能、易用性和计算引擎支持等方面有了很多提升。这个演讲会介绍主要的新功能和应用场景。

演讲提纲:

  1. Spark 3.0 的新特性介绍
  • Adaptive execution
  • Dynamic Partition Pruning
  • 更好的深度学习支持
  • Binary data source
  • 语言支持(Python 3 和 Scala 2.12)
  • 2.4版本升级到3.0须知
  1. Delta Lake 新功能介绍
  2. 功能/特性的设计思路细节介绍
  3. 用户在使用过程中遇到的坑(案例),以及我们提供的解决方法

听众受益点:

  1. 了解 Spark 3.0 和 Delta Lake 的最新功能和特性
  2. 了解升级到 Spark 3.0 和 Delta Lake 的收益和风险
  3. 了解 Spark 开源社区的未来发展方向和正在解决的问题

InfoQ助你疫后复工,提升战力!全年会议门票最低5折起,立即查看>>

想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+86-15600537884