专题演讲嘉宾:罗慰蓝

腾讯QQ音乐/数据中心/高级工程师

加入腾讯音乐后带领团队从0到1搭建了实时数据平台,让公司内每个人都可自己动手作出数据分析。现主要负责数据中台建设,包括数据基础设施和数据服务化等。在此之前,曾先后任职于摩根大通、The Hut Group、Spotify等。参与 Spotify 全量上云项目,主要协助公司内多個团队的数据处理系统上云,或在云上重构。

by 罗慰蓝

腾讯
QQ音乐/数据中心/高级工程师

QQ音乐和全民K歌是腾讯音乐旗下领先的音乐流媒体和社交娱乐产品,为海量用户提供多元化音乐生活体验。业务的急速发展,对数据分析提出了更高的要求。我们需要建立实时的即席交互分析平台,降低使用数据的技术门槛,从而满足不同业务线上大量的数据需求。

基于 ClickHouse+Superset 组合方案,我们为业务提供了秒级响应的PB级 OLAP 查询服务,并有丰富的数据可视化集,大大降低了探索数据的门槛。平台上过万张图表中,超60%由产品、研发、运营、研究员、财务等非数据人员创建,真正做到全民数据分析,数据平民化。

本次演讲,将介绍我们从单机到PB级 ClickHouse 集群的演变、途中遇到的运维问题、每天同步千亿级流水的方案、计算指标时的优化、流水数据入库前的处理等。另外,也会介绍部分我们在 Superset 上为业务量身定制的功能、业务上的应用以及我们是如何大幅提升业务使用数据的效率的。

演讲提纲:

  1. 平台建设背景、应用场景及定位
  2. 实时 OLAP 分析计算可视化平台建设
    • PB 级 ClickHouse 使用及运维经验
    • ClickHouse + Superset 组合使用
    • 全民数据分析,数据平民化经验分享
  3. QQ音乐/全民K歌数据中台未来规划

听众受益点:

  1. 数据文化基础设施及数据平民化实践
  2. 实时大数据平台架构演化,建设及运维过程中遇到的问题及解决方案

交通指南

深圳·君悦酒店

Beijing International Convention Center
地址: 广东省深圳市罗湖区宝安南路1881号
  • 微信咨询

  • 电话咨询

    联系电话:86+ 17310043226

微信联系我们