专题演讲嘉宾：陈肃

Kafka 因其高吞吐低延迟特性在数据集成领域有着广泛的应用。DataPipeline 作为一款面向企业私有化部署的数据集成产品，在其架构中也将 Kafka 作为可选的数据缓存和分发组件。将 Kafka 用在私有化部署中会面临一些独有的挑战，包括数据完整性、一致性、日志留存管理以及性能调优等等。本次分享我将分享 DataPipeline 多年应用 Kafka实战中的心得总结，包括如何防止数据丢失和重复，如何对日志留存进行动态管理以防止数据的意外回收、集群容量及可用性规划等方面。

演讲提纲：

1. 硬币的两面：应用 Kafka 的收获与代价

2. 通过合理的可用性规划保证数据完整性

3. 数据处理的至少有一次 vs 恰好有一次

4. 动态日志留存管理的实现方法

5. 减少 topic partition 数量增长对性能的影响

你将获得：

• 了解应用 Kafka 带来的好处和代价
• 掌握 Kafka 集群规划的基本方法
• 了解实现数据一致性处理的逻辑