专题演讲嘉宾:徐超

袋鼠云技术专家

深耕大数据行业多年,熟悉大数据开发的多个环节。设计和主导过大数据任务调度引擎,基于 Flink 的拓展项目包括 ChunJun、Flink StreamSQL 等。

by 徐超

袋鼠云
技术专家

袋鼠云的数据开发平台对外提供一站式的数据开发服务,需要对多个类型外部数据源进行接入。在此背景下,就需要一个高效、稳定的数据集成工具保障后续的数据开发任务能顺利进行。在对比多个工具之后,我们选择了 Flink 作为基座自研了 ChunJun(原 Flinkx)数据集成框架。经过 4 年多的迭代,ChunJun 已经成为一个稳定、高效、易用的批流一体数据集成工具,可实现多种异构数据源高效的数据同步。本次演讲我将介绍 ChunJun 在数据集成上的重要功能,并分享其实现原理。

演讲提纲:

  1. ChunJun 介绍
    • ChunJun 框架基本介绍
    • ChunJun 框架的架构
    • ChunJun 的一个基础样例
  2. ChunJun 在离线数据集成上的工作
    • 增量同步原理和实现
    • 断点续传原理和实现
    • 脏数据管理的原理和实现
  3. ChunJun 在实时数据集成上的工作
    • Binlog 实时采集的实现
    • 数据还原(DDL + DML)的原理和实现
  4. ChunJun 未来的规划
    • 建设数据集成的周边
    • 提供 RESTful 服务
    • 加强实时数据还原

你将获得:

  • 了解 ChunJun 项目
  • 了解 ChunJun 功能和背后的原理
  • 了解 Flink 自定义插件的扩展

交通指南

来广营·朝来科技园

Laiguangying Beijing
地址: 北京市朝阳区来广营朝来科技园
  • 微信咨询

  • 电话咨询

    联系电话:+86 13167596032

微信联系我们