Spark 3.0 与 Delta Lake 新特性与业务案例

所属专题:大数据和AI结合的系统架构

嘉宾 : 王耿亮 | Databricks开源组/研发工程师

会议室 : 沙龙厅

讲师介绍

专题演讲嘉宾:王耿亮

Databricks开源组/研发工程师

Apache Spark committer,参与了 Apache Spark SQL 和 Databricks 内部性能优化项目的开发。

议题介绍

演讲:Spark 3.0 与 Delta Lake 新特性与业务案例

Spark 3.0 将在 2020 年发布,其中包含了 Adaptive execution、Dynamic Partition Pruning、更好的深度学习支持等新功能。

Delta Lake 在过去的一年里在性能、易用性和计算引擎支持等方面有了很多提升。这个演讲会介绍主要的新功能和应用场景。

演讲提纲:

  1. Spark 3.0 的新特性介绍
    • Adaptive execution
    • Dynamic Partition Pruning
    • 更好的深度学习支持
    • Binary data source
    • 语言支持(Python 3 和 Scala 2.12)
    • 2.4版本升级到3.0须知
  2. Delta Lake 新功能介绍
  3. 功能/特性的设计思路细节介绍
  4. 用户在使用过程中遇到的坑(案例),以及我们提供的解决方法

听众受益点:

  1. 了解 Spark 3.0 和 Delta Lake 的最新功能和特性
  2. 了解升级到 Spark 3.0 和 Delta Lake 的收益和风险
  3. 了解 Spark 开源社区的未来发展方向和正在解决的问题

交通指南

深圳·君悦酒店

Beijing International Convention Center
地址: 广东省深圳市罗湖区宝安南路1881号
  • 微信咨询

  • 电话咨询

    联系电话:86+ 17310043226

微信联系我们