章剑锋,开源届老兵,Apache Member 以及 3 个 Apache 项目 PMC(Zeppelin,Tez,Livy),目前在阿里巴巴担任高级技术专家。专注于大数据,数据科学,机器学习基础架构。

章剑锋,开源届老兵,Apache Member 以及 3 个 Apache 项目 PMC(Zeppelin,Tez,Livy),目前在阿里巴巴担任高级技术专家。专注于大数据,数据科学,机器学习基础架构。
大数据行业已经发展了 10 多年,各种框架层出不穷,解决了规模,性能的问题。但是在具体实践当中,如何测试你的大数据 Job,如何从开发阶段转换到生产阶段仍然存在很多痛点。这次演讲主要是给大家介绍我们如何将 Zeppelin 和 Airflow 整合起来解决这个问题。在 Zeppelin 里,你可以交互式地写代码,实现你的 Job,并且可以比较容易的验证你的 Job 的正确性。同时利用 Airflow,你无需重新打包,经过简单的配置就可以把在 Zeppelin 写的代码非常容易的部署到生产环境。Zeppelin + Airflow 带给你的不仅是效率和易用性,而且还是一套完整的大数据最佳实践。
1. 大数据开发到生产的痛点
2. 分别介绍 Zeppelin 和 Airflow 的架构应用场景
3. 如何整合 Zeppelin 和 Airflow 做到大数据开发阶段到生产阶段的无缝切换
4. 最佳实践
1. 理解 Zeppelin 的整体架构和适合的应用场景
2. 学到如何利用 Zeppelin + Airflow 来解决大数据开发阶段到生产阶段转换的痛点。
大数据开发人员,大数据分析人员。



微信咨询

电话咨询
微信联系我们
