中国移动基于 ClickHouse 提升数据处理效率的应用实践

所属专题:ClickHouse 集群版深度实践

嘉宾 : 高天铎 | 中国移动云能力中心高级系统架构师

讲师介绍

专题演讲嘉宾:高天铎

中国移动云能力中心高级系统架构师

现任职中国移动云能力中心,高级系统架构师,中国移动十百千专家。长期负责大数据平台架构设计和数据库设计工作,擅长超大规模Hadoop集群调优和数据库优化工作。开源技术爱好者,立志于开源技术的推广和实践落地。

议题介绍

演讲:中国移动基于 ClickHouse 提升数据处理效率的应用实践

针对业务日志信息的统计是一种常见的需求场景,实现方法也多种多样。中国移动在数据千亿条的场景下,先尝试了 ETL+MySQL,可处理的数据量又无法满足需求,又尝试了 ETL+Hive,但计算性能较差。我们希望在满足容量需求的情况下,能达到较好的性能,对整体架构进行了优化。本次分享将给大家带来使用 ClickHouse 实现千亿条日志数据统计的架构落地及优化,以及 ClickHouse 在这个过程中有哪些优势又有哪些问题。

演讲提纲:

  1. 业务日志统计应用面临的问题
    • 业务需求概述
    • 应用的第一次尝试——MySQL
    • 应用的第二次尝试——Hive
  2. 基于数据流动的架构优化
    • 架构优化思路
    • 基于 ClickHouse 的性能优化
    • 基于 ClickHouse 的数据流优化
    • 基于 ClickHouse 的数据生命周期优化
  3. 后续的故事
    • 存在的问题以及后续研发方向

你将获得:

  • 中国移动业务日志统计的选型经验
  • 使用 ClickHouse 实现千亿条日志数据统计的落地方案

交通指南

来广营·朝来科技园

Laiguangying Beijing
地址: 北京市朝阳区来广营朝来科技园
  • 微信咨询

  • 电话咨询

    联系电话:+86 13167596032

微信联系我们