QQ音乐和全民K歌是腾讯音乐旗下领先的音乐流媒体和社交娱乐产品，为海量用户提供多元化音乐生活体验。业务的急速发展，对数据分析提出了更高的要求。我们需要建立实时的即席交互分析平台，降低使用数据的技术门槛，从而满足不同业务线上大量的数据需求。

基于 ClickHouse+Superset 组合方案，我们为业务提供了秒级响应的PB级 OLAP 查询服务，并有丰富的数据可视化集，大大降低了探索数据的门槛。平台上过万张图表中，超60%由产品、研发、运营、研究员、财务等非数据人员创建，真正做到全民数据分析，数据平民化。

本次演讲，将介绍我们从单机到PB级 ClickHouse 集群的演变、途中遇到的运维问题、每天同步千亿级流水的方案、计算指标时的优化、流水数据入库前的处理等。另外，也会介绍部分我们在 Superset 上为业务量身定制的功能、业务上的应用以及我们是如何大幅提升业务使用数据的效率的。

演讲提纲：

1. 平台建设背景、应用场景及定位
2. 实时 OLAP 分析计算可视化平台建设
   • PB 级 ClickHouse 使用及运维经验
   • ClickHouse + Superset 组合使用
   • 全民数据分析，数据平民化经验分享
3. QQ音乐/全民K歌数据中台未来规划

听众受益点：

1. 数据文化基础设施及数据平民化实践
2. 实时大数据平台架构演化，建设及运维过程中遇到的问题及解决方案

虎牙作为直播行业领军的企业，业务线覆盖海内外，国内Huya直播、国外Yomi直播、Nimo直播如火如荼，品类繁多、用户端多样，数据类需求层出不穷，如分析类经营分析、竞品分析、转化分析，推荐类如主播推荐、广告推荐，美颜、滤镜等AI场景。面对这样纷杂的数据应用需求，只是提供基于Hadoop搭建的数据平台，提供存储、计算、调度的基础能力，且没有一套行之有效的数据治理手段，数据差、应用难、门槛高，大量数据需求涌向数据团队，导致支撑人员疲于奔命。

如果各个需求团队自己招人、烟囱式发展、势必导致数据割裂、口径不一、应用混乱、成本高昂，那么业界高频探讨的数据中台是一个可能的方向；我们如何结合虎牙现状，走出一条适合直播行业，能够利用大量的非结构化数据、保障数据质量、降低应用门槛，从而达到减少人力投入、响应需求更快的目的、推动数据决策赋能业务发展。

本演讲将介绍数据中台建设历程中所遇到的挑战，分享数据治理、数据融合、数据服务相关的设计思路和技术方案。

演讲提纲：

1. 现状分析
   • 讲解问题现状，也覆盖业界普遍常态问题
   • 数据中台的建设思路
2. 数据治理
   • 从接入源头开始的保障
   • 全链路的治理保障机制
   • 可视化可量化方向探索
3. 数据融合：
   • 结构化数据建模体系
   • 非结构化的融合分析
   • 开放模式
4. 开放体系：
   • 数据目录地图化
   • 协作式探索平台
   • 多样化中台服务
5. 未来发展方向

听众受益点：

1. 了解数据中台的实践路径、方法论体系
2. 了解数据治理的难点问题以及解决方案
3. 了解非结构化数据融合与应用链路

大数据平台技术快速迭代，大数据平台的架构环境变得日趋繁杂。不同组件间复杂的版本依赖和调用关系，上层工具应用和底层引擎间的 CS 紧耦合模式，组件间用户资源和上下文环境的彼此割裂，各种治理管控共性功能在不同组件中的重复开发等问题，给大数据平台的建设和运维带来了愈发严重的挑战，用户体验也受到影响。

在这种情况下，微众银行基于开源+自研，构建了 WeDataSphere 大数据平台套件，打造计算中间件层，让众多上层工具应用和底层引擎间的调用关系变得更加简化和解耦；提供治理管控共性功能的跨组件复用能力；打通不同数据应用组件间上下文环境，提供更连通融合易用易管的用户体验；让数据应用开发的规范、经验，更好的沉淀到应用开发工具中去。

实施效果：通过 WeDataSphere 大数据平台套件的构建和应用，在银行金融业务场景替代了 Oracle、SAS 等传统解决方案，在降低成本的同时提升了效率和自主可控性。其中部分关键组件如 Linkis、DataSphereStudio 等已经开源，受到开源社区用户的肯定和好评。

演讲提纲：

1. 大数据平台的使用痛点：
   • 紧耦合问题，上层应用和底层计算存储引擎间的 CS连接模式；
   • 重复造轮子问题，每个上层应用工具系统都要重复解决计算治理问题；
   • 扩展难问题，上层应用新增对接底层计算引擎，维护成本高，改动大；
   • 应用孤岛问题，跨不同应用工具、不同计算任务间的互通问题；
   • 数据治理与应用开发规范化标准化问题。
2. 新型大数据平台的设计理念及思路
   • 设计理念
     • 抽象作业提交执行流程解耦简化
     • AppJoint 设计灵活串联不同系统
     • 公共增强服务设计快速复用
     • 强大中间层治理管控能力设计灵活可控
   • 技术难点
     • 高并发高性能高可用
     • 低耦合高可扩展
     • 资源权限多级隔离管控
     • 前后端组件化复用
3. 应用实施效果
   • 实践案例一：银行核心系统批处理替代 Oracle
   • 实践案例二：银行风控建模替代 SAS
4. 开源社区合作伙伴的应用效果反馈
   • 开源不到1年已有200多家公司使用，19家主动反馈已上生产

听众受益点：

1. 了解如何让众多上层工具应用和底层引擎间的调用关系变得更加简化和解耦；
2. 了解如何复用引擎连接、多租户管控、等计算治理层能力，降低上层工具应用组件开发运维成本；
3. 了解如何打通组件间的用户上下文环境，提供更连通融合易用的用户体验；

早期我们通过独立的团队、独立的架构、独立的代码的模式，支持了多个产品的快速上线和高速发展。到现在，几大产品的核心功能已经稳定，并且非常相似，进行中台化的转变可以说是恰逢其时。在 2020 年初的这场疫情中，在线上课的需求量突然爆发，腾讯课堂借助中台的力量，扛住了流量高峰。本次分享主要讲述腾讯在线教育部在中台建设的经验和思考，内容包括：中台解决的问题、中台的组成、主要中台模块的架构设计、中台的价值。希望能给需要做中台建设的团队做一些参考，也希望能和有经验的团队进行交流。

内容大纲

1. 业务中台建设的背景
2. 面临的问题和挑战
3. 解决方案的思考和执行
4. 业务中台的效果：扛住了疫情期间的流量高峰
   • 开发对多业务的理解更透彻
   • 核心模块设计具备海量思维
   • 具备更灵活的人力调配能力
   • 具备更灵活的流量调度能力
5. 业务中台后续的发展规划

听众受益

1. 了解教育类产品中台建设的背景、方法、决策思考
2. 学习高并发场景下的后台架构设计经验、方法
3. 业务中台组织架构的一些管理经验