高可用架构实践

会议室:沙龙厅
出品人:唐三

比较典型的高可用架构场景是电商,但是2020年,视频会议办公软件、短视频App等... 展开 >

专题出品人:唐三

阿里巴巴资深技术专家

阿里云智能架构组成员,2010年加入阿里,一直从事高可用相关领域建设。10余年技术研发和系统架构经验,见证了阿里巴巴高可用产品体系从1.0到4.0的整个发展历程,积累了丰富的架构和高可用经验,主导建设了多款高可用技术产品,多次参与双十一和电商架构的技术演进工作,目前主要负责阿里巴巴云原生容灾体系建设。

地点:沙龙厅

专题:高可用架构实践

比较典型的高可用架构场景是电商,但是2020年,视频会议办公软件、短视频App等成了关注的焦点。本专题就邀请专家来分享能支撑百万人同时在线的平台技术挑战。例如大流量、高并发、稳定性等技术解决方案。

by 江成

虎牙直播
基础保障部/AI平台负责人

2018年5月虎牙在美国上市,在这之前基于深度学习的推荐系统、图像CV技术已经在公司的各直播业务中得到应用,但是随着公司业务的井喷式增长,原有的小作坊式 AI 开发模式已经难以适应快速增长的 AI 应用场景,以及日益提升的系统复杂度需求,虎牙 AI 平台应运而生。针对大规模标注数据交付难的问题,虎牙 AI 平台在引入外部标注团队的同时,开发了 AI 辅助标注技术,提升标注的人均和平台交付效率。

在模型生产环节,虎牙 AI 平台提供了多种产品形态满足不同 AI 应用、不同阶段的需求,比如 Notebook 用于数据处理、模型构建,工作流平台满足模型自动化迭代的需求,大规模分布式训练平台解决模型训练时间过长的痛点。

最后,虎牙AI平台的跨平台推理加速引擎,帮助算法工程师屏蔽底层复杂的异构计算环境,实现跨平台的模型优化和一键部署。

演讲提纲:

  1. AI 技术在直播场景中的应用及面临的挑战
    • AI 应用
    • 面临挑战及基础设施侧的应对之道
  2. 虎牙 AI 平台技术架构演进
    • 私有云架构
    • 混合云架构
  3. 一站式机器学习平台建设
    • 数据标注
      • 百万级图片标注数据交付
      • 上万小时有效时长语音标注数据交付
    • 模型训练
      • 数据、建模、训练协同解决方案
      • 大规模分布式训练
    • 跨平台推理加速引擎
      • 异构推理平台,支持 CPU、GPU、NPU 等
      • 模型优化引擎
      • 一键全球模型分发、部署
  4. 规划和展望

听众受益:

  1. 机器学习端到端的工作流程
  2. 混合云架构下的 AI 基础设施建设
  3. 互动直播场景的 AI 工程实践

by 张世维

腾讯
互娱研发效能部/专家工程师

软件系统7*24小时永不停服是趋势,软件工程师在不断挑战分布式软件系统更高的可用性。不论遇到软件自身升级、软件自身性能调优、硬件异常、网络波动、操作系统故障、业务访问突发增长、业务访问局部热点,均希望软件系统能正常顺滑提供服务。

无状态的节点实现高可用相对简单,而强状态的数据存储系统实现高可用面临更大挑战,万一出现故障还需要有数据恢复机制。本次分享我将结合腾讯游戏的实践,介绍在技术上如何实现分布式数据存储高可用,以及腾讯是如何解决这一系列难题的。

演讲提纲:

  1. 分布式数据存储高可用概述
  2. 升级时高可用技术
  3. 系统故障时高可用技术
  4. 业务访问突变时高可用技术
  5. 数据重构和系统调整时高可用技术

听众收益点:

  1. 了解分布式软件系统中比较难的分布式数据存储系统的高可用技术
  2. 了解在高可用方面应该考虑哪些点以及如何实现数据存储系统
  3. 了解使用游戏数据存储系统选型过程中应该评估哪些高可用方面的问题

by 罗意

友信证券
行情资讯开发部/技术总监

友信智投是一款以智能投资为特色的港美股券商平台APP,凭借优秀的技术实力2019年获港交所颁发的“年度创新讯息商”奖项。

行情报价和金融资讯是证券投资主要交易决策依据,尤其是行情和事件突发时,时间就是金钱。行情资讯数据从数据源、预处理、高性能计算、推送、就近接入等环节需经过100亿+次计算,才能最终触达用户。我们从数据传输、高性能计算、用户接入等多面考虑,设计和研发了一套高性能的低时延架构系统,竭力保障行情数据毫秒级触达用户。尤其在热门新股和美股熔断期间,很多突发性的股票行情,我们都比较好的实现了毫秒级的深港跨境低时延行情数据流服务。

演讲提纲:

  1. 港美股行情资讯服务的概述(业务场景、技术特点等)
  2. 行情资讯的总体架构
  3. 行情计算低时延设计方案
    • 行情解码分发,解决低时延、高性能、保证时序等
    • 行情计算和存储,纯内存化操作,计算结果流式化输出
    • 高性能推送,UDP 和 TCP 结合,数据主题化
    • 深港用户就近接入,专线传输
  4. 资讯低时延设计方案
    • 资讯爬取分发,秒级爬虫监控,实时分发
    • 财报自动识别,事件识别,自动编写简讯
    • 站外实时推送,自建 iOS 和安卓推送渠道

听众受益点:

  1. 了解高性能计算下低时延系统架构方案的考虑因素
  2. 了解实时大数据流量下的带宽和硬件考虑因素
  3. 了解高性能系统优化的方法

by 俞瑾

深圳证券交易所
技术规划部副总监

深交所在 1990 年 12 月成立,经过近三十年的发展,已经成为在市场主要指标位于世界交易所前列的交易所。随着业务不断发展,深交所也逐步进行了技术架构转型和数字化转型,通过一系列的应用建设,升级换代,成功实现了在业务管理平台、大数据平台和移动互联应用的架构转型,迈向数字化、网络化和智能化阶段。

本次演讲将介绍深交所在数字化转型方面实践经验和心得,希望给考虑或正在转型路上的同行提供一些参考。

演讲提纲:

  1. 深交所技术体系简介
  2. 数字化转型实践
    • 交易平台架构及应用实践
    • 互联网平台架构及应用实践
    • 大数据平台架构及应用实践
    • 移动应用平台架构及应用实践
  3. 转型过程中的问题与挑战
  4. 未来展望

by 兰瑞

腾讯
技术工程事业群云架构平台部/高级工程师

腾讯内部大量的业务线对于深度学习有着强烈的需求,并且各业务线存在个性化的诉求。如何打造一个能适应业务场景、高性能的深度学习平台?

腾讯从 GPU 集群建设,到大规模的虚拟机/容器调度,最后到深度学习框架和组件的优化,提供全栈的解决方案,帮助 AI 工程师达成目标。目前支撑了腾讯内部游戏 AI、CV、信息流、NLP 等主流业务场景下的深度学习模型训练。

演讲提纲:

  1. 业务场景需求
  2. 深度学习平台整体架构
  3. 大规模 GPU 调度系统
  4. 深度学习加速
  5. 业务效果和演进方向

听众受益点:

  1. 对深度学习平台有完整全貌了解
  2. 介绍深度学习的一些前沿技术和其实际落地情况

by 董峤术

腾讯
CSIG在线教育部高级工程师

2020年新冠疫情来势凶猛,腾讯课堂作为一个已经上线6年,承载多种复杂教育场景的B2B2C职业教育平台,也快速站出来承担起中小学授课的重任。通过快速的优化和迭代,不仅快速满足了各地师生甚至多省市教育局源源不断的新诉求,也在两周内抗住了上百倍的PCU暴涨,登顶了 AppStore 教育类榜首。

面对着复杂业务历史、频繁敏捷迭代、短时间百倍增长,腾讯课堂的工程师有哪些超前设计和极限操作,才完成了这些看似不可能的任务。本次演讲,我将按照时间线,分享业务在快速增长中,如何优化性能瓶颈,解决广播风暴、校准压测模型、制定应急预案、设计柔性策略、处理缓存穿透、抗住流量洪峰、止住现网雪崩、保证快速迭代、处理复杂业务场景的技术细节。

演讲提纲:

  1. 保障停课不停学遇到的挑战
  2. 先抗住,再优化:
    • 立体监控
    • 全链路压测
    • 防雪崩策略
    • 快速扩缩容实践
    • 存储瓶颈
    • 参数调优
  3. 保障业务高可用的架构设计:
    • 柔性策略
    • 降级开关
    • 缓存设计
    • 流控限频
    • 故障转移
  4. 快速迭代的秘诀:
    • 云原生
    • DevOps
    • 业务理解和抽象
    • 分层设计
    • 业务中台

听众受益点:

  1. 产品在快速增长期技术侧应对流量爆长的方法和手段
  2. 云原生时代业务架构设计需要关注的设计原则和理念
  3. 深入思考架构设计上的取舍

by 罗云

腾讯云
云开发研发副总监

云开发在落地 Serverless 云端一体化的演进过程中,为了将 Serverless 形态带来的优势不断的赋能给开发者,让开发者将更多的精力集中在业务上,云开发不断的帮助开发者去解决高可用,高并发,海量资源动态扩缩,故障域隔离管控等复杂的分布式难题。在云开发的保驾护航之下,开发者可以很好的利用云开发的云原生能力(存储,数据,计算能力)和云生态能力(云接入,云支付)构建应用,释放创意。

演讲提纲:

  1. Serverless 生态现状介绍
  2. 云开发的差异性又在哪里?
  3. 可用性和可靠性保障
    • 云函数
    • 云应用
    • 云存储
    • 云数据库
  4. 确保易用和安全的措施
  5. 海量数据处理措施
  6. 扩展能力

听众收益点:

  1. 了解当前腾讯云云开发落地 Serverless 过程
  2. 在分布式系统中,如何更好的提供高可靠、高可用架构
  3. 云开发如何和生态的能力做结合
  4. 云开发如何和云产品能力做结合

交通指南

深圳·君悦酒店

Beijing International Convention Center
地址: 广东省深圳市罗湖区宝安南路1881号
  • 微信咨询

  • 电话咨询

    联系电话:86+ 17310043226

微信联系我们