🌐 分布式系统 — 第二大脑

10 篇笔记

分布式系统是由多个独立计算机组成的系统，这些计算机通过网络连接并协调工作，对外表现为一个统一的系统。分布式系统面临的主要挑战包括网络延迟、节点故障、数据一致性等问题。

共识算法是分布式系统中用于在多个节点之间达成一致的算法。在分布式系统中，由于网络延迟、节点故障等原因，节点之间可能无法立即达成一致。共识算法确保即使在部分节点故障的情况下，系统仍能正常工作。

分布式锁是在分布式系统中用于控制多个进程或服务访问共享资源的机制。它确保在同一时间只有一个进程能够访问特定的资源，防止并发冲突和数据不一致。

在分布式系统中，传统的数据库自增ID方案存在以下问题： 1. 单点故障：数据库宕机导致ID生成失败 2. 性能瓶颈：高并发下数据库成为瓶颈 3. 数据安全：自增ID暴露业务信息 4. 扩展困难：分库分表后ID可能重复

分布式事务是指在分布式系统中，跨多个服务或数据库的事务操作。由于网络延迟、节点故障等原因，确保分布式事务的一致性是一个复杂的挑战。

消息队列（Message Queue，MQ）是一种异步通信机制，允许应用程序通过消息进行通信。消息队列可以解耦系统组件、提高系统可扩展性、处理高并发场景。

事件溯源（Event Sourcing）是一种设计模式，它将对象的状态存储为一系列事件的序列，而不是当前状态。通过重放事件可以重建任何时间点的状态。

流式处理是一种数据处理范式，它持续地处理到达的数据流，而不是批量处理。流式处理适用于实时分析、实时监控、实时推荐等场景。

数据管道是将数据从源系统移动到目标系统的自动化流程。它包括数据抽取、转换、加载（ETL）或抽取、加载、转换（ELT）等步骤。

实时架构是指能够快速响应事件和数据变化的系统架构。它广泛应用于实时监控、实时推荐、实时风控、实时分析等场景。