腾讯广告在大数据实时存储系统的实践

所属专题:数据平台建设

嘉宾 : 林兆祥 | 腾讯广告专家工程师

讲师介绍

专题演讲嘉宾:林兆祥

腾讯广告专家工程师

目前主要负责腾讯广告在线数据服务平台(MUD),包括在线数据存储系统——Marvel,数据统一发布系统——UPIPE,在线数据访问服务——Datahub。MUD平台承载腾讯广告在线服务所需要的用户画像,用户特征,用户广告行为等数据,为在线广告系统提供实时访问支持。

海量数据和实时访问是 MUD 的核心设计目标。集群数据存储量超过700T,每秒支持查询请求超过4000万次,平均响应延迟低于1ms,99.9%响应延迟5ms,平均响应大小4k+。加入腾讯之前,在 Freewheel 担任首席工程师,负责广告后台系统的开发和优化。

议题介绍

演讲:腾讯广告在大数据实时存储系统的实践

广告系统在决策过程中需要访问大量的用户画像、用户特征、用户广告行为等数据,而广告决策的速度直接影响广告的收入。因此提供海量数据实时访问是在线广告数据平台的核心设计目标。Marvel 是腾讯广告在线数据存储系统,基于传统的 LSM 架构基础,我们进行了大量的优化调整,主要包括优化索引设计、优化I/O、优化 compaction 策略等。通过一系列优化设计,将数据访问平均延迟控制在亚毫秒级别,99.9%访问延迟控制在5ms级别,为在线广告实时服务提供了坚实的性能基础。

演讲提纲:

  1. Marvel 在腾讯广告中的应用和定位;
  2. 实时性保证之索引设计
  3. 实时性保证之 I/O 优化
  4. 实时性保证之 compaction 调优

听众受益点:

  1. 了解大数据在提供亚毫秒级实时查询服务方面的挑战;
  2. 了解基于 SSD 存储 I/O 优化实践;
  3. 了解我们在访问实时性方面对传统 LSM 架构的优化和实践。

交通指南

北京富力万丽酒店

Renaissance Beijing Capital Hotel
地址: 北京朝阳区东三环中路61号
  • 微信咨询

  • 电话咨询

    联系电话:86+ 13167596032

微信联系我们