awesome distributed system projects

很棒的分布式系统

该存储库包含分布式系统项目列表，这些项目具有各种编程语言的开源代码，这对于更好地理解如何构建分布式服务可能很有用。

数据库

• (Golang) Jocko - Go 中的 Kafka/分布式提交日志服务。 [农奴+木筏]
• (Golang) oklog - 用于大型集群的分布式且无协调的日志管理系统 [已存档]
• （Golang）elasticell - 分布式HA兼容Redis的NoSQL数据库，具有强一致性和可靠性
• (Erlang) CouchDB - 一个高可用、分区容忍、最终一致的文档数据库。支持具有自动冲突检测功能的主-主设置。
• (Java) Apache HBase - Hadoop 数据库，分布式、可扩展的大数据存储。当需要对大数据进行随机、实时读/写访问时非常有用
• （Golang）Tair - 高性能、高可用性的分布式快速访问内存（MDB）/持久（LDB）存储服务
• (Golang) immudb - 基于零信任、Key/Value & SQL、防篡改、数据更改历史记录的不可变数据库
• (Rust) toydb - Rust 中的分布式 SQL 数据库，作为学习项目编写
• (Rust) DB3 Network - 分散式 firebase firestore 替代品
• (Python) ZODB - ACID 事务型面向对象数据库
• (Golang) requiemdb - OTEL 数据的永久存储

键值数据库

• (C) memcached - 一种高性能多线程基于事件的键/值缓存存储，旨在用于分布式系统
• (C) redis - 具有各种值类型并持久保存在磁盘上的内存数据库
• (Rust) TiKV - 分布式事务键值数据库，最初是为了补充 TiDB 而创建的
• (C++) leveldb - Google 编写的快速键值存储库，提供从字符串键到字符串值的有序映射
• (Golang) goleveldb - 用 Golang 实现的 LevelDB
• (Golang) Summitdb - 内存中的 NoSQL 键/值数据库。它持久化到磁盘，使用 Raft 共识算法，符合 ACID，建立在事务性和强一致性模型之上。它支持自定义索引、地理空间数据、JSON 文档和用户定义的 JS 脚本
• (Python) pupdb - 一个简单的基于文件的键值数据库
• (Python) pickledb - 使用 Python json 模块的开源键值存储
• (C++) KeyDB - Redis 的更快的嵌入式多线程替代方案
• (C++) Dragonfly - 与 Redis 和 Memcache 完全兼容并使用现代算法设计的内存数据存储
• (Golang) BadgerDB - 用纯 Go 编写的可嵌入、持久且快速的键值 (KV) 数据库
• (Golang) BuntDB - 纯 Go 中的低级内存中键/值存储。它持久保存到磁盘，符合 ACID，并对多个读取器和单个写入器使用锁定。它支持自定义索引和地理空间数据。
• (Rust) ConstDB - 类似 redis 的缓存存储，实现 CRDT 和主动-主动复制。
• (Golang) GhostDB - 一种分布式、内存中、通用键值数据存储，可在任何规模下提供微秒级性能
• (Dart) Hive - 一个用纯 Dart 编写的轻量级且速度极快的键值数据库。受到 Bitcask 的启发
• （Golang）rosedb - 基于bitcask的快速、稳定、嵌入式NoSQL数据库，支持字符串、列表、散列、集合、排序集等多种数据结构
• (Rust) PumpkinDB - 不可变的有序键值数据库引擎
• (Golang) FlashDB - 纯 Go 中的简单内存中键/值存储。它持久保存到磁盘，符合 ACID，并对多个读取器和单个写入器使用锁定。它支持类似于 Redis 的数据结构操作，如 SET、SORTED SET、HASH 和 STRING
• (PHP) Lazer - 基于 JSON 文件的 PHP 平面文件数据库
• (Golang) Scribble - Golang 中的小型 JSON 数据库
• （Golang）FlyDB - 基于bitcask论文的高性能KV存储引擎，支持redis协议和相应的数据结构
• (Rust) Engula - 分布式键值存储，用作缓存、数据库和存储引擎
• (Golang) Dice - 一个非常简单的基于 Golang 的内存 KV 存储，使用 Redis 方言

关系型、SQL、NewSQL 数据库

• (Golang) CockroachDB - 一个基于事务性和强一致性键值存储构建的分布式容错 SQL 数据库
• (Golang) YugabyteDB - 用于关键任务应用程序的云原生分布式 SQL 数据库
• (Golang) RQLite - 一个轻量级的分布式关系数据库，它使用 SQLite 作为其存储引擎
• (Golang) Kingbus - 基于 raft 的分布式 MySQL binlog 存储 [Raft]
• (C++) YDB 是一个开源分布式 SQL 数据库，它将高可用性和可扩展性与严格一致性和 ACID 事务结合在一起
• (Golang) RadonDB - 开源、云原生 MySQL 数据库，具有无限的可扩展性和性能

NoSQL、文档数据库

• (C++) MongoDB - 为易于开发和扩展而设计的文档数据库
• (Golang) FerretDB - 一个代理，将 MongoDB 6.0+ 有线协议查询转换为 SQL - 使用 PostgreSQL 作为数据库引擎
• (C#) LiteDB - 单个数据文件中的 NoSQL 文档存储
• (Python)tinydb - 用纯Python编写的轻量级面向文档的数据库
• (PHP) SleekDB - 一个用 PHP 实现的简单平面文件 NoSQL 数据库，没有任何第三方依赖项，将数据存储在纯 JSON 文件中
• (Rust) BonsaiDB - 一个 ACID、事务 KV 或文档开发友好的数据库，具有可配置的延迟磁盘数据存储
• (Golang) CloverDB - 纯 Golang 编写的轻量级面向文档的 NoSQL 数据库

图数据库

• (Java) neo4j - 图形数据库
• （Python）edgedb - 图关系数据库
• (C++) nebula - 一个分布式、快速的开源图数据库，具有水平可扩展性和高可用性
• （Golang）EliasDB - 基于图的轻量级数据库

时间序列

• (Golang)VictoriaMetrics - 快速、经济高效的监控解决方案和时间序列数据库
• (Golang) influxdb - 用于指标、事件和实时分析的可扩展数据存储
• (Java) trino - 用于大数据分析的快速分布式 SQL 查询引擎
• (Java) Apache Doris - 易于使用、高性能和统一的分析数据库
• (Scala) FiloDB - 分布式、Prometheus 兼容、实时、内存中、大规模可扩展、多模式时间序列/事件/操作数据库
• (Rust) ceresdb - 高性能、分布式、无模式、云原生时间序列数据库，可以处理时间序列和分析工作负载
• (Golang) tstorage 是一个轻量级本地磁盘存储引擎，用于具有简单 API 的时间序列数据
• (Rust) CnosDB 是一个高性能、高压缩、易于使用的开源分布式时序数据库。应用于物联网、工业互联网、车联网、IT运营等领域
• (Golang)LinDB - 可扩展、高性能、高可用的分布式时间序列数据库
• (Scala) FiloDB - 分布式、兼容 prometheus、实时、内存、可大规模扩展、多模式时间序列/事件/操作数据库
• (Rust) CeresDB - 高性能、分布式、云原生时间序列数据库

列数据库

• (Java) Apache Cassandra - 高度可扩展的分区行存储。行被组织成具有所需主键的表
• (C++) scylladb - 与 Apache Cassandra 和 Amazon DynamoDB API 兼容的实时大数据数据库
• (Golang) FrostDB - 用 Go 编写的嵌入式宽列列式数据库

权限数据库

• (Golang) SpiceDB - 受 Google Zanzibar 启发的数据库系统，用于创建和管理安全关键型应用程序权限
• (Golang) Keto - 受 Google Zanzibar 启发的开源数据库、gRPC、REST API、newSQL 以及简单且精细的权限语言。支持ACL、RBAC

分析数据库

• (C++) BaikalDB 是一个分布式 HTAP MySQL 兼容数据库，专为 PB 规模而设计
• (Golang) AresDB - 一个由 GPU 驱动的实时分析存储和查询引擎

向量

• (Rust) Qdrant - 向量相似性搜索引擎和向量数据库
• (Golang) milvus - 一个开源矢量数据库，旨在支持嵌入相似性搜索和人工智能应用程序
• （Golang）Weaviate - 一个存储对象和向量的开源向量数据库
• (Golang) tobias-mayer/vector-db - 一个简单的向量数据库，可用于在对数时间内搜索相似向量
• (Rust) DANNY - 用于构建矢量搜索应用程序的去中心化矢量数据库

网关

• (Golang) Glide - 一个开放可靠的快速 LLM/模型网关，用于快速开发 GenAI 应用程序
• (Golang) Traefik - 云原生应用程序代理
• (Lua) Kong - 云原生、功能丰富的 API 网关
• (Golang) Skipper - 用于服务组合的 HTTP 路由器和反向代理
• （Golang）janus - 轻量级API网关和管理平台
• (Golang) Lura - 带中间件的超性能 API 网关
• (Python) MFLow Gateway - LLM 代理

锁定

• (Golang) etcd - 用于分布式系统最关键数据的分布式可靠键值存储 [Raft + gRPC]
• (Java) Apache Zookeeper - 高可靠的分布式协调
• (Golang) Chubby - Chubby 的（非常简化的）实现，Google 的分布式锁服务

流媒体

• (Java) Kafka - 分布式、高度可扩展、弹性、容错且安全的事件流平台
• (Python) faust - 一个分布式流处理库，将 Kafka Streams 的思想移植到 Python
• (Golang) Liftbridge - 通过为 NATS 消息系统实现持久的流增强来提供轻量级、容错的消息流
• (Rust) RisingWave - 用于流处理的分布式 SQL 数据库，旨在降低构建实时应用程序的复杂性和成本

调度程序

• (Golang) dkron - 用于云原生环境的分布式、容错作业调度系统
• (Python) Celery - 分布式任务队列
• (Python) Apache Airflow - 一个以编程方式编写、安排和监控工作流程的平台

队列

• (Golang) nsq - 实时容错分布式消息平台，旨在大规模运行，每天处理数十亿条消息 [Raft + gRPC]
• (Golang) Sandglass - 分布式、水平可扩展、持久、按时间排序的消息队列
• (Golang) dnpipes - 与 AWS SQS 相当的 Unix 命名管道的分布式版本
• (PHP) GatewayWorker - 基于workerman的分布式实时消息传递框架
• (C++) ZeroMQ - 异步消息队列的抽象、多种消息传递模式、消息过滤（订阅）、无缝访问多种传输协议等
• (Java) Apache Pulsar - 分布式发布-订阅消息传递平台，具有非常灵活的消息传递模型和直观的客户端 API
• (Java) Apache ActiveMQ - 高性能 Apache 2.0 许可的消息代理

搜索引擎

• (Java) ElasticSearch - 分布式、RESTful 搜索和分析引擎
• (Java) Apache Lucene - 一个高性能、全功能的文本搜索引擎库
• (Rust) Meil​​iSearch - 快如闪电、超相关且容错的搜索引擎
• (JS) FlexSearch - 内存灵活的全文搜索库
• (Golang)RiotSearch - 分布式、简单高效的全文搜索引擎
• (C++) Typesense - 快速、容错、模糊搜索引擎
• (Rust) Sonic - 快速、轻量级和无模式搜索后端。在几 MB RAM 上运行的 Elasticsearch 替代方案

文件系统

• (Golang) JuiceFS - 兼容 Hadoop 的 AWS S3 兼容的高性能 POSIX 文件系统
• （Golang）SeaweedFS - 一个简单的兼容Hadoop的AWS S3兼容的分布式高度可扩展的分布式文件系统
• (C) GlusterFS - 可扩展到数 PB 的分布式存储
• (C++) GlusterFS - 高度可靠、可扩展且高效的分布式文件系统。它将数据分布在多个物理服务器上，使其作为单个文件系统对最终用户可见。

服务发现

• (Golang) sleuth - 驻留在同一网络上的 HTTP 服务之间的无主对等自动发现和 RPC

数据处理

• (Scala) Apache Spark - 用于大规模数据处理的统一分析引擎

总站数据库

• (Prolog) terminusdb - 具有协作模型的分布式数据库

操作系统

• (C)HarveyOS——分布式操作系统

框架

• （Golang）etcd - 分布式系统开发框架。提供分布式系统开发的核心要求，包括 RPC 和事件驱动的通信
• (Golang) ergo - Golang 中的 Erlang/OTP 方法的端口
• (Golang) gosiris - Golang 的 Actor 框架
• (Python) cotyledon - 用于定义长期运行服务的框架。它提供 Unix 信号的处理、worker 的生成、子进程的监督、守护进程重新加载、sd-notify、worker 生成的速率限制等。
• （Java）atomix - 用于构建容错分布式系统的功能齐全的框架 [REST + Raft]
• （Kotlin）orbit - 用于构建分布式系统的虚拟参与者框架
• (JS) hemera - 用于 NATS 消息系统的 Node.js 微服务工具包 [RPC]
• (Python) Tooz - 通过提供协调 API 来帮助开发人员构建分布式应用程序，集中最常见的分布式原语，例如组成员协议、锁定服务和领导者选举
• (C++) Nebula - 用于构建高度并发、分布式和弹性消息驱动应用程序的强大框架
• (GoLang) Service Weaver - 一个框架，允许将应用程序编写为模块化二进制并将其部署为一组微服务
• (GoLang) Dapr - 可移植、无服务器、事件驱动的运行时，作为 sidecar 工作，使开发人员可以轻松构建弹性、无状态和有状态的微服务

成分

• (Golang)Dragonboat - 纯Go语言的高性能多组Raft共识库
• (Golang) Golimit - 基于 Uber Ringpop 的分布式和去中心化速率限制器
• (Python) Tenacity - 通用重试库
• (Elixir) ex_hash_ring - 基于优秀的 C 哈希环库的纯 Elixir 一致性哈希环实现
• (Elixir) raft - Raft 共识实现
• (C++) NuRaft - 来自基石项目的 Raft 实现
• (Python) Hyx - 适用于弹性和现代 Python 微服务的轻量级容错原语
• (Python) Migdalor - 用于 Python 异步节点的 Kubernetes 本机对等发现
• (Golang)skiplist -skiplist 数据结构的 Golang 实现
• (Java) Waltz - 用于复制事务的基于仲裁的分布式预写日志

其他资源

• Awesome-scalability - 用于说明可扩展、可靠和高性能大型系统模式的阅读列表
• Awesome-distributed-systems - 分布式系统上很棒的材料的精选列表
• Awesome-database-learning - 了解数据库内部结构的学习材料列表
• (C/C++)（书籍）使用 C/C++ 构建您自己的 Redis
• (C)（文章）用 C 从头开始​​编写 sqlite 克隆
• Berkley CS186：数据库系统简介
• MIT 6.830：数据库系统