分布式系统
分布式系统架构设计
实时架构全链路设计
实时架构全链路设计 实时架构概述 实时架构是指能够快速响应事件和数据变化的系统架构。它广泛应用于实时监控、实时推荐、实时风控、实时分析等场景。 全链路架构 架构图 ┌─────────────────────────────────────────────────────────────────┐...
数据管道ETL/ELT架构
数据管道ETL/ELT架构 数据管道概述 数据管道是将数据从源系统移动到目标系统的自动化流程。它包括数据抽取、转换、加载（ETL）或抽取、加载、转换（ELT）等步骤。 ETL架构 ETL（Extract, Transform, Load）是传统的数据集成模式，数据在加载到目标系统之前进行转换。 架构...
流式架构Flink/Kafka Streams
流式架构Flink/Kafka Streams 流式处理概述 流式处理是一种数据处理范式，它持续地处理到达的数据流，而不是批量处理。流式处理适用于实时分析、实时监控、实时推荐等场景。 核心概念 数据流（Data Stream） 数据流是无界的数据序列，数据不断到达并被处理。 java // Flin...
事件溯源与CQRS实践
事件溯源与CQRS实践 事件溯源概述 事件溯源（Event Sourcing）是一种设计模式，它将对象的状态存储为一系列事件的序列，而不是当前状态。通过重放事件可以重建任何时间点的状态。 核心概念 事件（Event） 事件是已经发生的事实的不可变记录。 java // 事件基类 public abs...
消息队列架构Kafka/RocketMQ/RabbitMQ
消息队列架构Kafka/RocketMQ/RabbitMQ 消息队列概述 消息队列（Message Queue，MQ）是一种异步通信机制，允许应用程序通过消息进行通信。消息队列可以解耦系统组件、提高系统可扩展性、处理高并发场景。 Kafka架构 核心概念 java // Kafka生产者 @Comp...
分布式事务2PC/TCC/Saga
分布式事务2PC/TCC/Saga 什么是分布式事务 分布式事务是指在分布式系统中，跨多个服务或数据库的事务操作。由于网络延迟、节点故障等原因，确保分布式事务的一致性是一个复杂的挑战。 两阶段提交（2PC） 两阶段提交是一种强一致性的分布式事务协议，通过协调者和参与者的协作来保证事务的原子性。 协议...
分布式ID生成雪花算法
分布式ID生成雪花算法 为什么需要分布式ID 在分布式系统中，传统的数据库自增ID方案存在以下问题： 1. 单点故障：数据库宕机导致ID生成失败 2. 性能瓶颈：高并发下数据库成为瓶颈 3. 数据安全：自增ID暴露业务信息 4. 扩展困难：分库分表后ID可能重复 常见分布式ID方案 UUID jav...
分布式锁Redis/ZK/etcd
分布式锁Redis/ZK/etcd 什么是分布式锁 分布式锁是在分布式系统中用于控制多个进程或服务访问共享资源的机制。它确保在同一时间只有一个进程能够访问特定的资源，防止并发冲突和数据不一致。 基于Redis的分布式锁 基本实现 java // Redis分布式锁实现 public class Re...
Raft/Paxos共识算法
Raft/Paxos共识算法 什么是共识算法 共识算法是分布式系统中用于在多个节点之间达成一致的算法。在分布式系统中，由于网络延迟、节点故障等原因，节点之间可能无法立即达成一致。共识算法确保即使在部分节点故障的情况下，系统仍能正常工作。 Raft算法 Raft是一种易于理解的共识算法，它将共识问题分...
分布式系统基础CAP/BASE
分布式系统基础CAP/BASE 分布式系统概述 分布式系统是由多个独立计算机组成的系统，这些计算机通过网络连接并协调工作，对外表现为一个统一的系统。分布式系统面临的主要挑战包括网络延迟、节点故障、数据一致性等问题。 CAP定理 CAP定理指出，一个分布式系统不可能同时满足以下三个属性： 1. 一致性...