攻克弄脏分布式系统的问题

会议室:待定
出品人:张炎泼

随着互联网数据量越来越大,任何一个独立服务几乎都必须以分布式的方式部署。分布式系... 展开 >

专题出品人:张炎泼

Datafuse Labs 一线工程师

在新浪搞分布式存储,

在美团搞分布式存储,

在白山云搞分布式存储,

在蚂蚁搞分布式存储,

在 Datafuse Labs 搞分布式存储。

—— 物理系背叛者,设计师眼中的美工,bug maker,Vim 死饭,悬疑片脑残粉。

专题:攻克弄脏分布式系统的问题

随着互联网数据量越来越大,任何一个独立服务几乎都必须以分布式的方式部署。分布式系统与单机业务相比会面临更多的挑战,主要表现在全局一致性,CAP 之间的权衡,资源调度的灵活性,海量错误的模板化处理等方面。本专题将与大家分享在大规模分布式集群中如何有效地应对这些问题。

by 丁硕青

腾讯云
微服务中心 高级研发工程师

随着国内外互联网产业的高速发展,技术架构的演进也越来越迅速。但在演化的过程中,总有一些技术需求是不变的,API 限流就是其中之一,且随着业务规模、架构复杂度的增加,API 限流的作用愈发重要。本次分享会结合我们在腾讯云 API 网关等产品中的限流实践,针对不同的业务场景,分别介绍分布式架构中 API 限流的设计方案。

演讲提纲:

  1. 为什么需要限流 
    • 限流的分类和应用场景
    • 限流需具备的功能
  2. 如何实现单体限流
    • 计数器
    • 滑窗
    • 漏桶
    • 令牌桶
  3. 分布式限流技术要点
    • 限流准确度(一致性)
    • 低延迟
    • 可扩展
  4. 如何实现一个分布式限流
    • 常见分布式限流架构以及落地经验分享
    • 基于负载均衡的本地限流方案
    • 基于一致性哈希的限流方案
    • 基于中心存储的限流方案
    • 基于配额的客户端限流方案
  5. 展望:更智能地限流

你将获得:

  • 了解 4 种最常见的限流算法原理
  • 了解在分布式架构中限流实践方案以及生产环境落地案例
  • 了解在不同业务场景中针对限流方案的选择策略

by 吴义谱

北京白山云科技有限公司
研发中心 技术中台研发负责人

面对公司内外部对分布式存储的强需求,s2 分布式对象存储以白山云强大的 CDN-X 服务优势为基础应运而生。为了提高数据的可靠性和异地容灾能力, 数据分布在不同 IDC,任意一个 IDC 异常不影响服务的访问,是一个多数据中心的分布式对象云存储服务。s2 分布式存储系统能够根据文件访问频率,自动实现数据的冷热分离、热数据高并发访问、冷数据高可靠和低成本,并遵循和 99% 兼容 Amazon S3 REST API 接口,使开发人员可直接使用 Amazon S3 的官方 SDK。希望本次分享能带给大家一定启发。

演讲提纲:

  1. 分布式存储的演进之路
    • 单机存储
    • 分布式存储
  2. s2 分布式存储系统的架构
    • 数据分布
    • 数据复制与一致性
    • 系统容错
    • 系统可扩展性

你将获得:

  • 了解分布式存储的演进之路
  • 了解大规模分布式存储系统的架构设计

by 吴义谱

北京白山云科技有限公司
研发中心 技术中台研发负责人

面对公司内外部对分布式存储的强需求,s2 分布式对象存储以白山云强大的 CDN-X 服务优势为基础应运而生。为了提高数据的可靠性和异地容灾能力, 数据分布在不同 IDC,任意一个 IDC 异常不影响服务的访问,是一个多数据中心的分布式对象云存储服务。s2 分布式存储系统能够根据文件访问频率,自动实现数据的冷热分离、热数据高并发访问、冷数据高可靠和低成本,并遵循和 99% 兼容 Amazon S3 REST API 接口,使开发人员可直接使用 Amazon S3 的官方 SDK。希望本次分享能带给大家一定启发。

演讲提纲:

  1. s2分布式存储系统的挑战
    • 系统高可用-异地多活
      • 元数据的异地多活
      • 数据存储的异地备份
    • 冷热分层的多级存储,性能与成本的博弈
      • 热数据多副本存储
      • 冷数据转存EC存储
    • 大规模小文件的高并发访问
  2. 分布式存储未来的发展方向
    • IPFS
    • 边缘存储

你将获得:

  • 了解异地多活在分布式存储系统的挑战与实践
  • 了解分布式存储系统性能与成本如何衡量

交通指南

来广营·朝来科技园

Laiguangying Beijing
地址: 北京市朝阳区来广营朝来科技园
  • 微信咨询

  • 电话咨询

    联系电话:+86 13167596032

微信联系我们