异构数据流式处理新架构及工业级平台实践

所属专题：Kafka 业界最佳实践

嘉宾 : 姜二委（甘罗） | 贝壳找房商机中台技术负责人

讲师介绍

专题演讲嘉宾：姜二委（甘罗）

贝壳找房商机中台技术负责人

甘罗（网名），贝壳找房商机中台技术负责人，主要负责贝壳 C 端广告流量分发、分发策略编排引擎、策略推荐等中台能力建设和管理工作。主导过广告物料数据存储引擎统一和检索重构，从0到1搭建日均处理 10 亿+数据量级的、支持多种异构数据双向流式处理平台。目前整体 C 端广告流量分发核心服务可用性 5个9，平稳承载贝壳 C 端日均 10 亿+广告流量分发的流量洪峰。曾先后任职于蘑菇街、腾讯、火币集团，擅长电商交易和营销、社交内容、数字货币高频交易多领域核心研发和基础架构工作。

议题介绍

所属专题：Kafka 业界最佳实践

演讲：异构数据流式处理新架构及工业级平台实践

在互联网技术更新迭代如此迅速的今天，海量的数据增长和治理问题变得尤为突出。业界的技术选型众多，无论是数据存储引擎，还是数据交互组件，主流的技术方案在生产和消费数据量小的场景下，很少会遇到性能瓶颈。然而，如果日均处理数据量级在数十亿时，服务的整体技术架构就会面临可用性和稳定性的巨大挑战。而大多数公司的数据同步和清洗技术手段还比较传统，存在延迟高、吞吐低、性能差等一系列问题。这就导致服务的整体技术架构面临着可用性和稳定性的挑战。

本次我为大家主要分享基于 Kafka Connect 从0到1搭建一个工业级可用的异构数据流式处理平台，实现海量 MySQL、PostgreSQL、MongoDB、Elasticsearch 等异构数据源之间基于 Kafka 的双向流式同步和清洗，并基于 JMX、Prometheus Exporter、Grafana 提供一站式分布式集群的监控和报警能力。

演讲提纲：

1. 主流异构数据流式处理的技术选型及 Kafka Connect 生态的优势

2. Kafka Connect 架构设计及 Source & Sink Connectors 组件化机制

3. Kafka Connect Transforms 架构设计及轻量级 ETL 自研实践

4. 集群管理控制台自研及监控体系搭建

5. 基于 Kafka Connect 的异构数据流式处理工业级平台实践

你将获得：