Flink 到 ClickHouse 的精确一次数据导入实践

所属专题：Flink 实时计算业务融合之路

嘉宾 : 于哲 | SmartNews资深研发工程师

讲师介绍

专题演讲嘉宾：于哲

SmartNews资深研发工程师

7 年后端开发经验，曾任职于 AWS Kinesis，负责设计并实现了基于动态留存时限的百万条以上的视频流的费用统计分析。负责实时清理过期数据，每月节省存储开支达数万美元，自上线日起清理了 120 + PB 数据，且没有任何误删。现就职于 SmartNews，主要专注于环绕 ClickHouse 的数据导入、分析、优化以及基于 Kuberntes 基础架构的管理，负责维护多个 ClickHouse cluster，最大的 cluster 日吞吐量为数亿条数据。

议题介绍

所属专题：Flink 实时计算业务融合之路

演讲：Flink 到 ClickHouse 的精确一次数据导入实践

SmartNews 每天有近百亿的数据量，而且对于数据分析有着低延迟的要求，因而需要 ClickHouse 来实现 sub-seconds 数据分析。ClickHouse 是一个近几年来非常流行的开源数据分析数据库，提供了非常快速的宽表数据查询功能，然而 ClickHouse 并不支持 transaction，导致数据导入时可能引入重复。ClickHouse 的数据导入由 Flink 来完成。我们在内部研发时，通过分析 Flink 的现存精确一次的 Sink 的解决方案以及 ClickHouse 的写入特性，解决了上述问题。本次分享中我们将介绍现存的 Flink 精确一次的解决方案， ClickHouse 的写入细节，我们提出的解决方案，以及未来进一步的优化方案，希望能给遇到类似问题的团队带来启发。

演讲提纲：

SmartNews 的技术与服务现状
- 主营业务
- 近百亿条的单日写入量
- 技术栈以及取得成就
- ClickHouse 在 SmartNews 的现状及问题
- ClickHouse 的现状和优势
- ClickHouse 的问题
技术重点
- Flink 精确一次 Sink 的原理
- ClickHouse 写入的原理
- ClickHouse 关联 Materialized View 的写入
- Flink 到 ClickHouse 的精确一致性的实现
项目实践
- 背景
- 实践过程
- 结果
总结与展望
- 进一步优化写入过程
- 优化 ClickHouse 的数据存储