Flink 在实时计算应用场景中的落地实践

会议室:待定
出品人:付海涛

Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。事实证... 展开 >

专题出品人:付海涛

京东资深技术专家

拥有多年中间件、互联网云平台和大数据开发经验,对分布式计算、容器、微服务有较深入的理解。2018 年加入京东,主要负责实时计算引擎 Storm、Flink 的相关优化和开发工作。

专题:Flink 在实时计算应用场景中的落地实践

Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。事实证明,Flink 已经可以扩展到数千核心,其状态可以达到 TB 级别,且仍能保持高吞吐、低延迟的特性。在全球范围内,越来越多的公司开始使用 Flink,在国内比较知名的互联网公司如阿里巴巴、头条、京东、美团等,都在大规模使用 Flink 作为企业的分布式大数据处理引擎。本次专题将为大家介绍 Flink 在各行业的应用与落地实践,详细解读应用场景、业务痛点、面临的挑战及解决方案,希望能为你在实际工作中带来启发和思考。

by 张蛟

小米
大数据部 高级开发工程师

小米从 2019 年开始引入 Flink 并处理实时计算相关的需求,从第一个接入的版本 1.7 到最新的 1.14,累计已升级更新了 6 个大的版本,目前已接入包括数据采集、信息流广告、搜索推荐、用户画像、金融等在内的全集团所有业务线的 3000+ 任务,日均处理 10w亿+ 的消息,并在国内外搭建了 10+ 集群。本次我将为大家分享小米基于 Flink 相关的优化和实践,希望能带给大家一些启发。

演讲提纲:

1. Flink 在小米的发展历程与现状

2. 遇到的问题与相关优化探索

  • 处理应对常规问题
    • 日益增长的小文件
    • RPC 请求延迟过高
    • 用户 quota 不足
  • 基于 YARN 实现动态扩缩容
  • 从海量的运维压力中解放人力
  • Flink 版本收敛实践

3. 业务的最佳实践

4. 未来规划与展望

你将获得:

  • Flink 的相关原理
  • 大规模实时场景下的问题挑战与应对
  • 了解小米在实时计算平台的优化与实践经验

by 王刚

汽车之家
智能数据中心 数据工程师

本次分享我将为大家着重介绍 Apache Flink 在汽车之家的核心实践内容,你可以了解到:如何基于 Apache Flink 建设稳定、易用、日计算量超过万亿级的实时计算平台;如何复用实时计算平台强大的分布式计算能力和完善的基础设施,快速建设数据接入平台;如何基于 Apache Flink + Apache Iceberg 建设湖仓一体的架构以及在实践落地的过程中做了哪些优化,踩过哪些坑。

演讲提纲:

1. 实时计算平台建设

  • 背景
  • 自助开发
  • 自助运维
  • 自动伸缩容
  • 复用实时计算平台

2. 实时数据入湖(Iceberg)

  • 打通数仓现有权限体系
  • Iceberg Upsert 功能改进
  • 其他实践
  • 遇到的一些问题

你将获得:

  • 了解 Iceberg 入湖的生产经验
  • 了解汽车之家实时计算平台建设经验

by 张颖

京东
数据分析优化部 算法工程师

Prophet 是 Facebook 开源的一个时间序列模型,被广泛应用在数据报警相关领域,但是该模型有只支持单机的缺点。Flink 是一个优秀的数据处理框架,但是它对相关时间序列模型支持不多。本次的分享,我将着重介绍京东是如何将 Prophet 模型分布式化以及实现 Prophet 模型基于 Flink 的实时训练的过程和方式,包括实时模型训练的 failover 策略、pretrain 策略、模型训练的冷启动/热切换和模型分布式等。

演讲提纲:

1. Prophet 模型训练的 failover 策略

2. 在 Alink 里面实现 Prophet 模型 pretrain 策略

3. Prophet 模型训练的冷启动/热切换实践

4. 基于 Flink 的数据并行策略

5. 基于 Flink 将单机模型分布式化

你将获得:

  • 了解基于 Flink 的实时机器学习流程
  • 了解 Prophet 时间序列模型的使用

交通指南

来广营·朝来科技园

Laiguangying Beijing
地址: 北京市朝阳区来广营朝来科技园
  • 微信咨询

  • 电话咨询

    联系电话:+86 13167596032

微信联系我们