专题演讲嘉宾：汪愈舟

大数据和AI经过多年的发展，在各自的生态中涌现出了大量优秀的框架，包括大数据领域中的Spark，Flink等，AI领域中的Tensorflow，PyTorch和Horovod等等。随着计算能力的提高以及人们对模型训练的更高要求，大数据和AI的融合成为一个必然的趋势。在一个典型的端到端应用中，人们使用大数据框架来进行数据的预处理和特征的提取，然后使用深度学习框架数据进行模型的训练。在传统的架构中，大数据和深度学习使用两个不同的集群，造成大量的数据移动和运维负担，应用程序也被割裂成多个框架的代码。因此，业界也尝试了一些例如Tensorflow on Spark，Horovod on Spark的解决方案将深度学习训练运行在大数据集群中，但是它们只适合特定的应用场景。为了解决这些挑战，我们基于通用的分布式计算框架Ray，研发并开源了RayDP，将大数据生态中的Spark和Flink等框架运行在Ray上，并且通过Ray的分布式对象存储，将这些大数据框架和Ray上的其它AI库比如RaySGD进行无缝的集成，从而构建一个通用的端到端大数据和AI平台。

内容大纲

一、大数据和AI融合趋势和业界的解决方案

二、我们为什么需要一个通用的分布式计算框架

1. Ray

• 什么是Ray
• Ray的架构和API
• Ray的分布式训练库RaySGD

2. RayDP

• 什么是RayDP和以及它的主要功能
• Spark-on-Ray的架构
• 使用RayDP构建一个大数据和AI的端到端应用 

听众受益

• 了解大数据和AI融合的解决方案
• 了解Ray和它的设计初衷
• 了解RayDP以及如何通过它打造下一代端到端的大数据和AI平台