数据库设计及最佳实践

会议室:待定
出品人:唐扬

自 20 世纪 50 年代中期以来,计算机的应用由科学计算扩展到数据处理,数据库... 展开 >

专题出品人:唐扬

美图公司技术总监

极客时间专栏《高并发系统设计40问》作者,主要负责美图秀秀社区的研发、优化和运行维护工作。从业十余年,他见证了系统从初期构建,到承接高并发大流量的全过程,并参与过三个 DAU 过千万的大型高并发系统的研发,拥有大量的系统演进经验。

专题:数据库设计及最佳实践

自 20 世纪 50 年代中期以来,计算机的应用由科学计算扩展到数据处理,数据库技术的重要性日益被人们所认识。随着互联网时代的来临,伴随着存储数据量和请求量急剧的增长,传统的关系型数据库早已不再能够覆盖所有的需求场景,NoSQL、NewSQL、KV 存储等等类型的存储组件层出不穷。本专题将结合最佳实践案例帮助你深入了解常见数据库技术原理,以及如何构建最优的框架设计与功能实现,满足用户的实际需求。

by 臣勇

微博
研发中心基础架构部 资深系统架构开发工程师

Redis 和 Memcached 作为优秀的内存型 KV 数据库,在对性能要求较高的场景下有着非常广泛的应用。社区版的 Redis 和 Memcached 主流是作为缓存中间件应用。很多企业基于社区版本,根据自身业务特点和线上运行中遇到的问题,做了定制化改造。

微博是从 2010 年开始引入 Redis,现在 Redis 已经广泛应用于微博的多个业务场景,如用户关系、转发、评论、赞计数等。目前 Redis 集群存储超过百亿记录,每天上万亿的读取访问。Memcached 在博文内容、通行证等场景也都有大量的读取访问。Redis 和 Memcached 管理的数据量级都在百 TB 以上。微博也根据自身业务需求,对 Redis 和 Memcached 做了定制开发和架构上的改造。这次给大家分享的是微博近期在 Redis 和 Memcached KV 服务架构改造上的进展。

演讲提纲:

1. 背景

  • Redis/Memcached 在微博应用的现状
  • 面临的问题
    • 业务开发面临的问题
    • DBA 面临的问题

2. 我们怎么做的

  • 思路与主要功能
    • 从组件走向服务
    • 资源 Mesh 屏蔽资源细节
    • 系统内置平滑扩容服务
    • 常见故障自动处理
  • 系统架构

3. 落地案例

你将获得:

  • 了解大规模、高并发、高可用的缓存/存储服务化建设经验
  • 了解资源 Mesh 的建设经验

by 陈明雨

百度
AI与数据平台部 研发工程师

Apache Doris 是一款基于 MPP 的交互式分析型数据库。能够提供在海量数据场景下的低延迟高并发查询服务以及高吞吐的即席分析服务。同时 Doris 拥有非常优秀的易用和易运维特性,能够帮助企业在短时间内快速搭建一套高性能分布式 OLAP 集群。

本次分享将从 Doris 架构设计出发,依次通过元数据管理、查询层、存储层等主要模块的功能介绍,向大家展示 Doris 作为一款简单易用的分布式数据库的功能特点和设计原理。同时还会介绍在云原生时代,Doris 如何适应新的云上环境,以及如何通过架构的改变帮助用户在云基础架构下带来更好的使用体验和更低的使用成本。

演讲提纲:

1. Apache Doris 的发展历程

2. OLAP 数据分析场景需求和 MPP 数据库设计原则

3. Apache Doris 核心功能介绍及案例解析

4. 云原生背景下 Apache Doris 的架构变革  

你将获得:

  • 了解一款分布式数据库有哪些主要核心模块,以及这些模块的设计原则
  • 了解 Apache Doris 的核心功能特点,以便更好地使用 Doris 解决业务场景
  • 了解云原生时代下数据库的发展方向以及能够给业务带来哪些新的价值

by 杜克伟

蚂蚁集团
技术风险部 开发工程师

蚂蚁集团运行着全球最大的 Kubernetes 集群之一。Kubernetes 社区官方以 5k node 作为 Kubernetes 大规模的标准,而蚂蚁集团已经在运营万级节点的集群。蚂蚁集团的 Kubernetes 的演进,从 2018 年至今已经走过了 3 年多的岁月,随着业务形态的复杂化和集群规模量级的提升,对集群的稳健运营带来了极大的挑战。所谓万丈高楼平地起, Kubernetes 集群的基石就是存储数据的 etcd,只有 etcd 的性能和稳定性得到保障,Kubernetes 集群才能稳定运转。在保障 etcd 方面,进行 etcd 的数据拆分是一种行业内广为人知的技术手段,但对一个正在业务运营的超大规模的集群进行拆分,一个简单的事情就变得充满挑战,就像给正在飞行的飞机更换发动机。这里将会对蚂蚁集群的 etcd 数据拆分实践进行介绍和分享。

演讲提纲:

1. etcd 数据拆分面临的挑战

  • 集群规模增长存储压力骤增
  • 复杂业务聚合发生化学反应

2. etcd 数据拆分整体思路解析

  • 拆分是在做什么
  • 拆分影响了什么
  • 重启服务是否必须

3. etcd 数据拆分的关键技术 

  • 拆分总体流程
  • API Server Watch 逻辑定制
  • etcd 数据裁剪
  • etcd 数据压缩

你将获得:

  • etcd 数据拆分实践中的坑点
  • API Server 中的 Resource Version 的作用
  • etcd 中的 Revision 与 Kubernetes 的 Resource Version 的映射关系
  • Kubernetes 的 Client 中的 Watch 处理机制
  • Kubernetes 的 API Server 中的 Watch 处理机制

交通指南

来广营·朝来科技园

Laiguangying Beijing
地址: 北京市朝阳区来广营朝来科技园
  • 微信咨询

  • 电话咨询

    联系电话:+86 13167596032

微信联系我们