数据架构
数据架构设计与治理
时序数据库架构
时序数据库架构 时序数据特点 时序数据按时间顺序产生，具有写多读少、追加写入、时间范围查询等特点。 metricname,tag1=value1,tag2=value2 field1=value1,field2=value2 timestamp cpuusage,host=server1,regio...
图数据库架构
图数据库架构 属性图模型 属性图由节点、边和属性组成，适合表达实体间的复杂关系。 (Alice)-[:FRIEND]->(Bob)-[:WORKSAT]->(Company) (Alice)-[:LIKES]->(Product)<-[:SELLS]-(Company) java @Configur...
数据仓库架构
数据仓库架构 分层架构 数据仓库采用分层设计，从ODS到DWS逐层加工，保证数据质量和可复用性。 ODS(原始层) → DWD(明细层) → DWS(汇总层) → ADS(应用层) │ │ │ │ ├─ 日志数...
数据湖架构
数据湖架构 数据湖概念 数据湖是存储原始数据的集中式存储库，支持结构化、半结构化和非结构化数据。 数据源 → Ingestion → 存储层(对象存储) → 计算层 → 服务层 │ │ ├─ 日志文件...
Elasticsearch架构
Elasticsearch架构 倒排索引原理 Elasticsearch通过倒排索引实现全文检索，将文档分词后建立词项到文档ID的映射。 正排索引: doc1 → "Elasticsearch是搜索引擎" 倒排索引: "搜索引擎" → [doc1, doc3, doc5] "搜索"...
NoSQL架构设计
NoSQL架构设计 MongoDB文档数据库 MongoDB以BSON文档存储数据，支持灵活的Schema和丰富的查询能力。 java @Service public class MongoUserRepository { @Autowired private MongoTempla...
PostgreSQL架构
PostgreSQL架构 进程架构 PostgreSQL采用多进程模型，每个连接对应一个后端进程，通过共享内存实现数据共享。 ┌─────────────────────────────────┐ │ Postmaster │ │ (主进程，管理连接)...
MySQL主从复制
MySQL主从复制 复制原理 主库将变更写入Binlog，从库IO线程拉取Binlog写入Relay Log，SQL线程重放数据。 Master Slave ┌──────────┐ Dump Thread ┌──────────┐ │...
MySQL分库分表
MySQL分库分表 分片策略 根据业务特性选择水平分片或垂直分片，常见的分片键包括用户ID、时间等。 yaml ShardingSphere配置 spring: shardingsphere: datasource: names: ds0, ds1 ds0:...
MySQL架构设计
MySQL架构设计 InnoDB架构 InnoDB采用Buffer Pool缓存数据页和索引页，通过Change Buffer优化非唯一索引写入，借助Redo Log保证崩溃恢复。 ┌─────────────────────────────────┐ │ Buffer Pool...