Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。事实证... 展开 >



拥有多年中间件、互联网云平台和大数据开发经验,对分布式计算、容器、微服务有较深入的理解。2018 年加入京东,主要负责实时计算引擎 Storm、Flink 的相关优化和开发工作。
Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。事实证明,Flink 已经可以扩展到数千核心,其状态可以达到 TB 级别,且仍能保持高吞吐、低延迟的特性。在全球范围内,越来越多的公司开始使用 Flink,在国内比较知名的互联网公司如阿里巴巴、头条、京东、美团等,都在大规模使用 Flink 作为企业的分布式大数据处理引擎。本次专题将为大家介绍 Flink 在各行业的应用与落地实践,详细解读应用场景、业务痛点、面临的挑战及解决方案,希望能为你在实际工作中带来启发和思考。
小米从 2019 年开始引入 Flink 并处理实时计算相关的需求,从第一个接入的版本 1.7 到最新的 1.14,累计已升级更新了 6 个大的版本,目前已接入包括数据采集、信息流广告、搜索推荐、用户画像、金融等在内的全集团所有业务线的 3000+ 任务,日均处理 10w亿+ 的消息,并在国内外搭建了 10+ 集群。本次我将为大家分享小米基于 Flink 相关的优化和实践,希望能带给大家一些启发。
演讲提纲:
1. Flink 在小米的发展历程与现状
2. 遇到的问题与相关优化探索
3. 业务的最佳实践
4. 未来规划与展望
你将获得:
本次分享我将为大家着重介绍 Apache Flink 在汽车之家的核心实践内容,你可以了解到:如何基于 Apache Flink 建设稳定、易用、日计算量超过万亿级的实时计算平台;如何复用实时计算平台强大的分布式计算能力和完善的基础设施,快速建设数据接入平台;如何基于 Apache Flink + Apache Iceberg 建设湖仓一体的架构以及在实践落地的过程中做了哪些优化,踩过哪些坑。
演讲提纲:
1. 实时计算平台建设
2. 实时数据入湖(Iceberg)
你将获得:
Prophet 是 Facebook 开源的一个时间序列模型,被广泛应用在数据报警相关领域,但是该模型有只支持单机的缺点。Flink 是一个优秀的数据处理框架,但是它对相关时间序列模型支持不多。本次的分享,我将着重介绍京东是如何将 Prophet 模型分布式化以及实现 Prophet 模型基于 Flink 的实时训练的过程和方式,包括实时模型训练的 failover 策略、pretrain 策略、模型训练的冷启动/热切换和模型分布式等。
演讲提纲:
1. Prophet 模型训练的 failover 策略
2. 在 Alink 里面实现 Prophet 模型 pretrain 策略
3. Prophet 模型训练的冷启动/热切换实践
4. 基于 Flink 的数据并行策略
5. 基于 Flink 将单机模型分布式化
你将获得:



微信咨询

电话咨询
微信联系我们
