Kafka 因其高吞吐低延迟特性在数据集成领域有着广泛的应用。DataPipeline 作为一款面向企业私有化部署的数据集成产品，在其架构中也将 Kafka 作为可选的数据缓存和分发组件。将 Kafka 用在私有化部署中会面临一些独有的挑战，包括数据完整性、一致性、日志留存管理以及性能调优等等。本次分享我将分享 DataPipeline 多年应用 Kafka实战中的心得总结，包括如何防止数据丢失和重复，如何对日志留存进行动态管理以防止数据的意外回收、集群容量及可用性规划等方面。

演讲提纲：

1. 硬币的两面：应用 Kafka 的收获与代价

2. 通过合理的可用性规划保证数据完整性

3. 数据处理的至少有一次 vs 恰好有一次

4. 动态日志留存管理的实现方法

5. 减少 topic partition 数量增长对性能的影响

你将获得：

• 了解应用 Kafka 带来的好处和代价
• 掌握 Kafka 集群规划的基本方法
• 了解实现数据一致性处理的逻辑

Uber 是在实践中采用 Apache Kafka 最早的公司之一，拥有世界上最大的 Kafka 集群部署之一。经过多年的实践，Kafka 在 Uber 经过多次架构上的迭代来适应在数据规模、用户规模、用例规模上的增长。这次演讲主要分享 Kafka 在 Uber 的演进经历与 Uber 在 Kafka 上做过的不同改进。

演讲提纲：

1. Kafka 在 Uber 的主要用例

2. Kafka 在 Uber 遇到的挑战

3. Uber 对 Kafka 在不同维度和方向上进行的改进与迭代

你将获得：

了解 Uber 基于 Kafka 构建超大规模的实施流数据平台的挑战与解决方案

在互联网技术更新迭代如此迅速的今天，海量的数据增长和治理问题变得尤为突出。业界的技术选型众多，无论是数据存储引擎，还是数据交互组件，主流的技术方案在生产和消费数据量小的场景下，很少会遇到性能瓶颈。然而，如果日均处理数据量级在数十亿时，服务的整体技术架构就会面临可用性和稳定性的巨大挑战。而大多数公司的数据同步和清洗技术手段还比较传统，存在延迟高、吞吐低、性能差等一系列问题。这就导致服务的整体技术架构面临着可用性和稳定性的挑战。

本次我为大家主要分享基于 Kafka Connect 从0到1搭建一个工业级可用的异构数据流式处理平台，实现海量 MySQL、PostgreSQL、MongoDB、Elasticsearch 等异构数据源之间基于 Kafka 的双向流式同步和清洗，并基于 JMX、Prometheus Exporter、Grafana 提供一站式分布式集群的监控和报警能力。

演讲提纲：

1. 主流异构数据流式处理的技术选型及 Kafka Connect 生态的优势

2. Kafka Connect 架构设计及 Source & Sink Connectors 组件化机制

3. Kafka Connect Transforms 架构设计及轻量级 ETL 自研实践

4. 集群管理控制台自研及监控体系搭建

5. 基于 Kafka Connect 的异构数据流式处理工业级平台实践

你将获得：

• 了解面对海量异构数据的平台级流式处理新架构
• 了解基于 Kafka Connect 生态的工业级可用、可扩展、易维护的异构数据双向流式处理平台实践
• 了解 Kafka Connect 架构设计， Source & Sink Connectors、Transforms 组件扩展实践
• 了解 Kafka 集群基于 JMX、Prometheus、Grafana 一站式的指标收集和监控体系搭建实践