数据驱动运营的背景下,任何业务的开展和有效运营,都离不开数据分析。如何为公司内部或者客户提供高效的数据探索和数据分析显得尤为重要。
本次演讲将介绍中小企业如何针对不同的业务场景,快速构建离线或实时分析系统。通过复用已有的数据组件或引入较少的新组件的组合获得分析洞察能力。
演讲提纲:
- 数据需求背景
- 数据驱动企业内部和客户的运营和决策
- 为什么分析的入口不在数据仓库
- OLAP 的分类和常用引擎及其优势场景
- 如何搭建数据分析系统
- 对 OLAP 选型产生决定性影响的因素分析
- 如何打通搜索引擎和业务库进行实时分析
- 构建高效的在线实时报表引擎
- 打造半结构化的数据湖分析系统
- 分析的展示和图表的导出
- 性能优化和提升
- 跨数据源、跨存储引擎的分析性能优化
- 数据模式设计对性能优化的巨大影响
- 来自数据更新的挑战
- 缓存策略的设计
- 大量图表导出的性能优化
- 总结复盘
- 技术的选型跟随不同的场景和应用
- 代理键 ID 的选型在分析系统中的重要性
- 数据处理和数据更新的复杂度对分析引擎的影响分析
你将获得:
- 适合中小型企业的灵活、快速的分析平台构建思路
- 构建基于 Presto 引擎的离线分析
- 构建打通现有搜索引擎和现有业务库的实时分析方案
- 使用 Flink + TiDB 构建高效的在线实时报表引擎