实时数仓是大数据领域目前炙手可热的主题,各公司都在积极构建实时数仓,甚至实时数据中台。传统Lambda架构已不堪重负。新的产品和方案层出不穷。构建一个适合的实时数仓需要考虑哪些因素?怎么设计架构和链路?本演讲基于阿里内外的成功实时数仓案例来分享实时数仓的构建,分别对流量场景(例如精准营销、算法分析、网络监控等)和数据库场景(AP数据中台)下的分析与服务给出经验分享,希望对于听众能有所启发。
内容大纲
1. 实时数仓建设方法的演进
2. 实时数仓原则与方法论
- 模型统一、接口统一、流批一体
- 灵活、低成本
- 不要lambda架构
- 架构一定要简单
- 成本 vs 性能
3. 实时数仓的建设方法
- ODS->DWD->DWS->ADS
- 热数据与冷数据的存储
4. 实时数仓查询方法的设计
5. 实时数仓写入链路的设计
6. 流量分析场景下的实践案例
7. 数据库场景下的实践案例
听众受益
- 实时数仓建设方法的演进
- 实时数仓的建设方法
- 实时数仓写入链路和查询方法的设计
- 流量分析场景下的实践案例 (例如精准营销、算法分析、网络监控、实时大屏、实时排行榜等)
- 数据库场景下的实践案例
适合人群
大数据从业人员、企业数据中台建设者、企业大数据总监、企业CTO等。