小米基于 Flink 的优化实践

所属专题:Flink 在实时计算应用场景中的落地实践

嘉宾 : 张蛟 | 小米大数据部 高级开发工程师

讲师介绍

专题演讲嘉宾:张蛟

小米大数据部 高级开发工程师

Apache Flink Contributor,现任小米大数据部高级软件工程师,主要负责小米基于 Flink 的实时计算框架内核层方面的研发工作,曾任京东大数据部高级研发工程师、爱奇艺商业智能部资深研发工程师,在大数据实时处理方向有多年的从业经历并积累了丰富的工作经验。

议题介绍

演讲:小米基于 Flink 的优化实践

小米从 2019 年开始引入 Flink 并处理实时计算相关的需求,从第一个接入的版本 1.7 到最新的 1.14,累计已升级更新了 6 个大的版本,目前已接入包括数据采集、信息流广告、搜索推荐、用户画像、金融等在内的全集团所有业务线的 3000+ 任务,日均处理 10w亿+ 的消息,并在国内外搭建了 10+ 集群。本次我将为大家分享小米基于 Flink 相关的优化和实践,希望能带给大家一些启发。

演讲提纲:

1. Flink 在小米的发展历程与现状

2. 遇到的问题与相关优化探索

  • 处理应对常规问题
    • 日益增长的小文件
    • RPC 请求延迟过高
    • 用户 quota 不足
  • 基于 YARN 实现动态扩缩容
  • 从海量的运维压力中解放人力
  • Flink 版本收敛实践

3. 业务的最佳实践

4. 未来规划与展望

你将获得:

  • Flink 的相关原理
  • 大规模实时场景下的问题挑战与应对
  • 了解小米在实时计算平台的优化与实践经验

交通指南

来广营·朝来科技园

Laiguangying Beijing
地址: 北京市朝阳区来广营朝来科技园
  • 微信咨询

  • 电话咨询

    联系电话:+86 13167596032

微信联系我们