很棒的awesome distributed system projects awesome distributed system projects原始碼下載

awesome distributed system projects

C/C++

1.0.0

下載

很棒的分散式系統

該儲存庫包含分散式系統專案列表，這些專案具有各種程式語言的開源程式碼，這對於更好地理解如何建立分散式服務可能很有用。

資料庫

(Golang) Jocko - Go 中的 Kafka/分散式提交日誌服務。 [農奴+木筏]
(Golang) oklog - 用於大型叢集的分散式且無協調的日誌管理系統 [已存檔]
（Golang）elasticell - 分散式HA相容Redis的NoSQL資料庫，具有強一致性和可靠性
(Erlang) CouchDB - 一個高可用、分區容忍、最終一致的文檔資料庫。支援具有自動衝突偵測功能的主-主設定。
(Java) Apache HBase - Hadoop 資料庫，分散式、可擴充的大數據儲存。當需要對大數據進行隨機、即時讀取/寫入存取時非常有用
（Golang）Tair - 高效能、高可用性的分散式快速存取記憶體（MDB）/持久性（LDB）儲存服務
(Golang) immudb - 基於零信任、Key/Value & SQL、防篡改、資料變更歷史記錄的不可變資料庫
(Rust) toydb - Rust 中的分散式 SQL 資料庫，作為學習項目編寫
(Rust) DB3 Network - 分散式 firebase firestore 替代品
(Python) ZODB - ACID 事務型物件導向資料庫
(Golang) requiemdb - OTEL 資料的永久存儲

鍵值資料庫

(C) memcached - 一種高效能多執行緒基於事件的鍵/值快取存儲，旨在用於分散式系統
(C) redis - 具有各種值類型並持久保存在磁碟上的記憶體資料庫
(Rust) TiKV - 分散式事務鍵值資料庫，最初是為了補充 TiDB 而創建的
(C++) leveldb - Google 編寫的快速鍵值儲存庫，提供從字串鍵到字串值的有序映射
(Golang) goleveldb - 用 Golang 實現的 LevelDB
(Golang) Summitdb - 記憶體中的 NoSQL 鍵/值資料庫。它持久化到磁碟，使用 Raft 共識演算法，符合 ACID，建立在事務性和強一致性模型之上。
(Python) pupdb - 一個簡單的基於檔案的鍵值資料庫
(Python) pickledb - 使用 Python json 模組的開源鍵值存儲
(C++) KeyDB - Redis 的更快的嵌入式多執行緒替代方案
(C++) Dragonfly - 與 Redis 和 Memcache 完全相容並使用現代演算法設計的記憶體資料存儲
(Golang) BadgerDB - 用純 Go 編寫的可嵌入、持久且快速的鍵值 (KV) 資料庫
(Golang) BuntDB - 純 Go 中的低階記憶體中鍵/值儲存。它持久保存到磁碟，符合 ACID，並對多個讀取器和單一寫入器使用鎖定。它支援自訂索引和地理空間資料。
(Rust) ConstDB - 類似 redis 的快取存儲，實現 CRDT 和主動-主動複製。
(Golang) GhostDB - 一種分散式、記憶體中、通用鍵值資料存儲，可在任何尺度下提供微秒效能
(Dart) Hive - 一個用純 Dart 編寫的輕量級且速度極快的鍵值資料庫。受到 Bitcask 的啟發
（Golang）rosedb - 基於bitcask的快速、穩定、嵌入式NoSQL資料庫，支援字串、清單、雜湊、集合、排序集等多種資料結構
(Rust) PumpkinDB - 不可變的有序鍵值資料庫引擎
(Golang) FlashDB - 純 Go 中的簡單記憶體中鍵/值儲存。它持久保存到磁碟，符合 ACID，並對多個讀取器和單一寫入器使用鎖定。它支援類似 Redis 的資料結構操作，如 SET、SORTED SET、HASH 和 STRING
(PHP) Lazer - 基於 JSON 檔案的 PHP 平面檔案資料庫
(Golang) Scribble - Golang 中的小型 JSON 資料庫
（Golang）FlyDB - 基於bitcask論文的高效能KV儲存引擎，支援redis協定和對應的資料結構
(Rust) Engula - 分散式鍵值存儲，用作快取、資料庫和存儲引擎
(Golang) Dice - 一個非常簡單的基於 Golang 的內存 KV 存儲，使用 Redis 方言

關係型、SQL、NewSQL 資料庫

(Golang) CockroachDB - 一個基於事務性和強一致性鍵值儲存建構的分散式容錯 SQL 資料庫
(Golang) YugabyteDB - 用於關鍵任務應用程式的雲端原生分散式 SQL 資料庫
(Golang) RQLite - 一個輕量級的分散式關聯式資料庫，它使用 SQLite 作為其儲存引擎
(Golang) Kingbus - 基於 raft 的分散式 MySQL binlog 儲存 [Raft]
(C++) YDB 是一個開源分散式 SQL 資料庫，它將高可用性和可擴展性與嚴格一致性和 ACID 事務結合在一起
(Golang) RadonDB - 開源、雲端原生 MySQL 資料庫，具有無限的可擴充性和效能

NoSQL、文檔資料庫

(C++) MongoDB - 為易於開發和擴展而設計的文件資料庫
(Golang) FerretDB - 一個代理，將 MongoDB 6.0+ 有線協定查詢轉換為 SQL - 使用 PostgreSQL 作為資料庫引擎
(C#) LiteDB - 單一資料檔案中的 NoSQL 文檔存儲
(Python)tinydb - 用純Python編寫的輕量級面向文件的資料庫
(PHP) SleekDB - 一個用 PHP 實現的簡單平面檔案 NoSQL 資料庫，沒有任何第三方依賴項，將資料儲存在純 JSON 檔案中
(Rust) BonsaiDB - 一個 ACID、事務 KV 或文件開發友好的資料庫，具有可配置的延遲磁碟資料存儲
(Golang) CloverDB - 純 Golang 編寫的輕量級面向文件的 NoSQL 資料庫

圖資料庫

(Java) neo4j - 圖形資料庫
（Python）edgedb - 圖形關係型資料庫
(C++) nebula - 一個分散式、快速的開源圖資料庫，具有水平可擴展性和高可用性
（Golang）EliasDB - 基於圖的輕量級資料庫

時間序列

(Golang)VictoriaMetrics - 快速、經濟高效的監控解決方案和時間序列資料庫
(Golang) influxdb - 用於指標、事件和即時分析的可擴展資料存儲
(Java) trino - 用於大數據分析的快速分散式 SQL 查詢引擎
(Java) Apache Doris - 易於使用、高效能和統一的分析資料庫
(Scala) FiloDB - 分散式、Prometheus 相容、即時、記憶體中、大規模可擴展、多模式時間序列/事件/操作資料庫
(Rust) ceresdb - 高效能、分散式、無模式、雲端原生時間序列資料庫，可以處理時間序列和分析工作負載
(Golang) tstorage 是一個輕量級本地磁碟儲存引擎，用於具有簡單 API 的時間序列數據
(Rust) CnosDB 是一個高效能、高壓縮、易於使用的開源分散式時序資料庫。應用於物聯網、工業互聯網、車聯網、IT營運等領域
(Golang)LinDB - 可擴展、高效能、高可用的分散式時間序列資料庫
(Scala) FiloDB - 分散式、相容 prometheus、即時、記憶體、可大規模擴展、多模式時間序列/事件/操作資料庫
(Rust) CeresDB - 高效能、分散式、雲端原生時間序列資料庫

列資料庫

(Java) Apache Cassandra - 高度可擴充的分區行儲存。行被組織成具有所需主鍵的表
(C++) scylladb - 與 Apache Cassandra 和 Amazon DynamoDB API 相容的即時大數據資料庫
(Golang) FrostDB - 用 Go 編寫的嵌入式寬列列式資料庫

權限資料庫

(Golang) SpiceDB - 受 Google Zanzibar 啟發的資料庫系統，用於建立和管理安全關鍵型應用程式權限
(Golang) Keto - 受 Google Zanzibar 啟發的開源資料庫、gRPC、REST API、newSQL 以及簡單且精細的權限語言。支援ACL、RBAC

分析資料庫

(C++) BaikalDB 是一個分散式 HTAP MySQL 相容資料庫，專為 PB 規模而設計
(Golang) AresDB - 一個由 GPU 驅動的即時分析儲存和查詢引擎

向量

(Rust) Qdrant - 向量相似性搜尋引擎和向量資料庫
(Golang) milvus - 一個開源向量資料庫，旨在支援嵌入相似性搜尋和人工智慧應用程式
（Golang）Weaviate - 一個儲存物件和向量的開源向量資料庫
(Golang) tobias-mayer/vector-db - 一個簡單的向量資料庫，可用來在對數時間內搜尋相似向量
(Rust) DANNY - 用於建立向量搜尋應用程式的去中心化向量資料庫

閘道

(Golang) Glide - 一個開放可靠的快速 LLM/模型網關，用於快速開發 GenAI 應用程式
(Golang) Traefik - 雲端原生應用程式代理
(Lua) Kong - 雲端原生、功能豐富的 API 網關
(Golang) Skipper - 用於服務組合的 HTTP 路由器和反向代理
（Golang）janus - 輕量級API網關和管理平台
(Golang) Lura - 附中介軟體的超效能 API 網關
(Python) MFLow Gateway - LLM 代理

鎖定

(Golang) etcd - 用於分散式系統最關鍵資料的分散式可靠鍵值儲存 [Raft + gRPC]
(Java) Apache Zookeeper - 高可靠的分散式協調
(Golang) Chubby - Chubby 的（非常簡化的）實現，Google 的分散式鎖服務

串流媒體

(Java) Kafka - 分散式、高度可擴展、有彈性、容錯且安全的事件流平台
(Python) faust - 一個分散式串流處理庫，將 Kafka Streams 的想法移植到 Python
(Golang) Liftbridge - 透過為 NATS 訊息系統實現持久的流增強來提供輕量級、容錯的訊息流
(Rust) RisingWave - 用於流處理的分散式 SQL 資料庫，旨在降低建立即時應用程式的複雜性和成本

調度程式

(Golang) dkron - 用於雲端原生環境的分散式、容錯作業排程系統
(Python) Celery - 分散式任務佇列
(Python) Apache Airflow - 一個以程式設計方式創作、安排和監控工作流程的平台

佇列

(Golang) nsq - 即時容錯分散式訊息平台，旨在大規模運行，每天處理數十億條訊息 [Raft + gRPC]
(Golang) Sandglass - 分散式、水平可擴展、持久、按時間排序的訊息佇列
(Golang) dnpipes - 與 AWS SQS 相當的 Unix 命名管道的分散式版本
(PHP) GatewayWorker - 基於workerman的分散式即時訊息框架
(C++) ZeroMQ - 非同步訊息佇列的抽象化、多種訊息傳遞模式、訊息過濾（訂閱）、無縫存取多種傳輸協定等
(Java) Apache Pulsar - 分散式發布-訂閱訊息平台，具有非常靈活的訊息傳遞模型和直覺的用戶端 API
(Java) Apache ActiveMQ - 高效能 Apache 2.0 授權的訊息代理

搜尋引擎

(Java) ElasticSearch - 分散式、RESTful 搜尋與分析引擎
(Java) Apache Lucene - 一個高效能、全功能的文字搜尋引擎庫
(Rust) MeileSearch - 快如閃電、超相關且容錯的搜尋引擎
(JS) FlexSearch - 記憶體靈活的全文搜尋庫
(Golang)RiotSearch - 分散式、簡單且有效率的全文搜尋引擎
(C++) 類型 - 快速、容錯、模糊搜尋引擎
(Rust) Sonic - 快速、輕量級和無模式搜尋後端。在幾 MB RAM 上運行的 Elasticsearch 替代方案

檔案系統

(Golang) JuiceFS - 相容於 Hadoop 的 AWS S3 相容的高效能 POSIX 檔案系統
（Golang）SeaweedFS - 一個簡單的兼容Hadoop的AWS S3相容的分散式高度可擴展的分散式檔案系統
(C) GlusterFS - 可擴展到數 PB 的分散式存儲
(C++) GlusterFS - 高度可靠、可擴充且高效的分散式檔案系統。它將資料分佈在多個實體伺服器上，使其作為單一檔案系統對最終用戶可見。

服務發現

(Golang) sleuth - 駐留在同一網路上的 HTTP 服務之間的無主對等自動發現和 RPC

資料處理

(Scala) Apache Spark - 用於大規模資料處理的統一分析引擎

總站資料庫

(Prolog) terminusdb - 具有協作模型的分散式資料庫

作業系統

(C)HarveyOS－分散式作業系統

框架

（Golang）etcd - 分散式系統開發框架。提供分散式系統開發的核心要求，包括 RPC 和事件驅動的通訊
(Golang) ergo - Golang 中的 Erlang/OTP 方法的端口
(Golang) gosiris - Golang 的 Actor 框架
(Python) cotyledon - 用於定義長期運行服務的框架。它提供 Unix 訊號的處理、worker 的產生、子程序的監督、守護程式重新載入、sd-notify、worker 產生的速率限制等。
（Java）atomix - 用於建立容錯分散式系統的功能齊全的框架 [REST + Raft]
（Kotlin）orbit - 用於建立分散式系統的虛擬參與者框架
(JS) hemera - 用於 NATS 訊息系統的 Node.js 微服務工具包 [RPC]
(Python) Tooz - 透過提供協調 API 來幫助開發人員建立分散式應用程序，集中最常見的分散式原語，例如群組成員協議、鎖定服務和領導者選舉
(C++) Nebula - 用於建立高度並發、分散式和彈性訊息驅動應用程式的強大框架
(GoLang) Service Weaver - 一個框架，允許將應用程式編寫為模組化二進位並將其部署為一組微服務
(GoLang) Dapr - 可移植、無伺服器、事件驅動的運行時，作為 sidecar 工作，使開發人員可以輕鬆建立彈性、無狀態和有狀態的微服務