wxya（个人网站）数据存储架构
存算一体 存算分离
主要还是对象存储 + HDFS 做微底层，然后用湖仓一体
数据库（Database） | 数据仓库（Data Warehouse） | 数据集市（Data Mart） | 数据湖（Data Lake） | 数据网格（DataMesh） | 湖仓一体（LakeHouse） |
定义 | 存储相关数据的地方 | 存储历史数据和支持数据分析 | 针对特定业务部门的数据子集 | 存储原始数据的大型存储库 | 数据的自治和共享 |
用途 | 在线事务处理（OLTP） | 在线分析处理（OLAP） | 特定业务部门的数据分析和决策支持 | 灵活的数据分析和探索 | 跨组织和跨团队的数据共享和协作 |
数据类型 | 结构化、关系型、非结构化、NoSQL | 结构化 | 结构化 | 结构化、半结构化、非结构化 | 结构化、半结构化、非结构化 |
数据处理 | 实时事务数据处理 | 提取-转换-加载（ETL）或类似ELT过程 | 针对特定需求的数据提取和整合 | 原始数据存储，按需处理和分析 | 数据所有者自治，分布式数据共享 |
查询 | SQL查询 | SQL查询 | SQL查询 | 按需处理和分析 | 分布式数据查询和共享 |
数据组织 | 表、索引、键、视图、数据类型 | 表、索引、键、视图、数据类型 | 表、索引、键、视图、数据类型 | 灵活的数据组织 | 分布式数据组织和架构 |
数据共享 | 有限的共享能力 | 针对特定用户和部门的共享 | 针对特定业务部门的共享 | 强调跨组织和跨团队的共享 | 强调数据自治和共享 |
数据分析 | 实时事务数据分析 | 历史数据分析和商业智能 | 特定业务部门的数据分析和决策支持 | 灵活的数据分析和探索 | 跨组织和跨团队的数据分析和协作 |
Loading...