专题演讲嘉宾：于哲

SmartNews 每天有近百亿的数据量，而且对于数据分析有着低延迟的要求，因而需要 ClickHouse 来实现 sub-seconds 数据分析。ClickHouse 是一个近几年来非常流行的开源数据分析数据库，提供了非常快速的宽表数据查询功能，然而 ClickHouse 并不支持 transaction，导致数据导入时可能引入重复。ClickHouse 的数据导入由 Flink 来完成。我们在内部研发时，通过分析 Flink 的现存精确一次的 Sink 的解决方案以及 ClickHouse 的写入特性，解决了上述问题。本次分享中我们将介绍现存的 Flink 精确一次的解决方案， ClickHouse 的写入细节，我们提出的解决方案，以及未来进一步的优化方案，希望能给遇到类似问题的团队带来启发。

演讲提纲：

1. SmartNews 的技术与服务现状
   • 主营业务
   • 近百亿条的单日写入量
   • 技术栈以及取得成就
   • ClickHouse 在 SmartNews 的现状及问题
   • ClickHouse 的现状和优势
   • ClickHouse 的问题
2. 技术重点
   • Flink 精确一次 Sink 的原理
   • ClickHouse 写入的原理
   • ClickHouse 关联 Materialized View 的写入
   • Flink 到 ClickHouse 的精确一致性的实现
3. 项目实践
   • 背景
   • 实践过程
   • 结果
4. 总结与展望
   • 进一步优化写入过程
   • 优化 ClickHouse 的数据存储

你将获得：

• 了解 Flink 精确一次的输出原理
• 了解 ClickHouse 的写入原理
• Flink 到 ClickHouse 的精确一次写入的解决方案