数据架构
数据架构设计与治理
10 篇笔记
MySQL架构设计
InnoDB采用Buffer Pool缓存数据页和索引页，通过Change Buffer优化非唯一索引写入，借助Redo Log保证崩溃恢复。
MySQL分库分表
根据业务特性选择水平分片或垂直分片，常见的分片键包括用户ID、时间等。
MySQL主从复制
主库将变更写入Binlog，从库IO线程拉取Binlog写入Relay Log，SQL线程重放数据。
PostgreSQL架构
PostgreSQL采用多进程模型，每个连接对应一个后端进程，通过共享内存实现数据共享。
NoSQL架构设计
MongoDB以BSON文档存储数据，支持灵活的Schema和丰富的查询能力。
Elasticsearch架构
Elasticsearch通过倒排索引实现全文检索，将文档分词后建立词项到文档ID的映射。
数据湖架构
数据湖是存储原始数据的集中式存储库，支持结构化、半结构化和非结构化数据。
数据仓库架构
数据仓库采用分层设计，从ODS到DWS逐层加工，保证数据质量和可复用性。
图数据库架构
属性图由节点、边和属性组成，适合表达实体间的复杂关系。
时序数据库架构
时序数据按时间顺序产生，具有写多读少、追加写入、时间范围查询等特点。