随着公司全新战略方向的确定，业务领域从面向C端用户扩展到B端客户，大数据中心也承载了越来越多应用场景的数据处理需求，面对不同行业的客户、不同客户的需求、不同需求的应用场景，如何打造量身定制的大数据平台，在提供一站式数据处理平台的同时，又满足上层应用定制化的数据需求开发，有效解决客户在大数据建设方面的各类问题。

本次演讲将介绍在大数据平台建设过程中解决方案和应用实践场景。

演讲提纲：

1. 360数据业务交付场景；
2. 业务交付的问题和挑战；
3. 平台解决方案与思路；
4. 典型应用场景和案例。

听众受益：

1. 大数据平台建设过程中的可服务性、扩展性能力的设计思路和原则；
2. 大数据平台如何解决交付不同客户需求和解决方案。

随着快看各业务线的快速发展，业务对数据的依赖和使用能力越来越大，需求逻辑越来越复杂。这要求各个业务线有自己专属的数据开发支持，对数据平台的通用能力、流程、规范有较大需求，并希望提供应用层工具支持数据价值的便捷应用。基于此需求，数据团队迭代开发了一套小而美的数据中台方案：

1. 提供数据总线，实现数据采集、同步和清洗，统一数据源头规范；
2. 提供自助数仓管理系统，集成元数据管理、数据血缘管理、数仓 ETL、数据地图、离线任务调度和实时任务管理；
3. 提供 BI 可视化平台，赋能业务开发实现数据展示；
4. 数据服务化，为各业务提供数据查询、应用能力；
5. 基于 LDAP 实现统一权限管理，统一使用规范，持续优化使用体验。

该数据中台方案，为各业务提供了统一的数据开发规范和能力支持，赋能业务开发高效支持业务需求和发展。

演讲提纲：

1. 数据中台化的挑战
2. 小而美的数据中台
3. 数据中台化的痛点解读
4. 持续优化的实践与思考

听众受益点：

1. 了解数据中台建设的切入点，和业务进展的权衡；
2. 快看在数据中台演化中积累了“小而美”的实战经验。

广告系统在决策过程中需要访问大量的用户画像、用户特征、用户广告行为等数据，而广告决策的速度直接影响广告的收入。因此提供海量数据实时访问是在线广告数据平台的核心设计目标。Marvel 是腾讯广告在线数据存储系统，基于传统的 LSM 架构基础，我们进行了大量的优化调整，主要包括优化索引设计、优化I/O、优化 compaction 策略等。通过一系列优化设计，将数据访问平均延迟控制在亚毫秒级别，99.9%访问延迟控制在5ms级别，为在线广告实时服务提供了坚实的性能基础。

演讲提纲：

1. Marvel 在腾讯广告中的应用和定位；
2. 实时性保证之索引设计
3. 实时性保证之 I/O 优化
4. 实时性保证之 compaction 调优

听众受益点：

1. 了解大数据在提供亚毫秒级实时查询服务方面的挑战；
2. 了解基于 SSD 存储 I/O 优化实践；
3. 了解我们在访问实时性方面对传统 LSM 架构的优化和实践。

公司在机票和酒店两个大部门合并后，迫切需要提升机酒交叉合作类项目的开发效率，面临的主要问题是API接口成熟度普遍偏低，数量多，普适性差，完成一个业务流程，两个系统群之间需要通过API交互30+次，耦合很紧，有部分系统群之间还是在使用缓存共享或数据库共享方式进行交互，导致部门间的项目极易相互影响产生故障。

通过"对内DDD，对外API" 做到Jeff Bezos所倡导的部门间只使用 API 进行相互调用。通过标准制定、工具搭建、业务接入、API 分层这几步实现对于 API 的治理，最终达到真正意义上的优质平台化。

演讲提纲：

1. 业务背景
2. 解决问题的思路
3. 解决问题所需的组件
   • 应用 API 管理平台
   • 注解、注释转换组件
   • 应用域维度的 API 管理平台
   • Maven 接口定义同步插件
   • IDEA 接口定义模板插件
4. 解决问题的具体步骤
   • 调研 API 标准化的必要性
   • 调研其他公司的一些做法
   • API 标准定义编纂
   • 技术方案设计及 Review
   • API 转换工具开发
   • Maven 插件开发
   • API 治理平台开发
   • 业务线尝试性接入
   • 效果验证
   • 业务线大批量接入
5. 阶段性的效果
   • 接口定义简单易用
   • API 与接口代码同步更新，不存在定义与实现不一致
   • 接口联调时间在原基础上继续降低
   • 开放平台接口可直接配置生成

听众受益点：

1. 一种实现良性中台化的思路，避免概念扯皮
2. 如何实现 API 的标准化
3. API 标准化需要做哪些工作
4. 如何降低业务线的接入成本

Elasticsearch（ES）作为首选的开源分布式搜索分析引擎，通过一套系统轻松满足用户的日志实时分析、全文检索、时序数据分析等多种需求，大幅降低大数据时代发掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES，同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务。大规模、丰富的实践场景，反推着腾讯在 ES 内核的稳定性、成本、性能等方面不断的进行演进。

腾讯通过执行引擎优化、存储重构、线性扩展等一系列技术方案，对原生 ES 内核在高性能、低成本、可扩展性等方面进行了深入优化，目前单集群规模达到千级节点、万亿级吞吐。

演讲提纲：

1. ES 在腾讯的广泛应用：从电商级搜索到万亿级时序数据处理；
2. 万亿级存储系统的架构设计；
3. 电商级搜索服务的平台建设；
4. 开源社区贡献及未来探索；

听众受益点：

1. 万亿级存储系统的性能 及 成本设计经验；
2. 架构大规模、线性扩展的分布式系统的实践经验；
3. 开源社区共建的经验。