awesome distributed system projects

素晴らしい分散システム

このリポジトリには、分散サービスの構築方法をより深く理解するために役立つ、さまざまなプログラミング言語のオープン ソース コードを含む分散システム プロジェクトのリストが含まれています。

データベース

• (Golang) Jocko - Go の Kafka/分散コミット ログ サービス。 [農奴+いかだ]
• (Golang) oklog - 大規模なクラスター向けの分散型で調整不要のログ管理システム [アーカイブ]
• (Golang) elasticell - 強力な一貫性と信頼性を備えた分散型 HA Redis 互換の NoSQL データベース
• (Erlang) CouchDB - 可用性が高く、パーティション耐性があり、結果的に整合性のあるドキュメント データベース。自動競合検出によるマスター/マスター設定をサポートします。
• (Java) Apache HBase - Hadoop データベース、分散型のスケーラブルなビッグ データ ストア。ビッグデータへのランダムでリアルタイムの読み取り/書き込みアクセスが必要な場合に役立ちます
• (Golang) Tair - 高性能かつ高可用性の分散高速アクセス メモリ (MDB)/永続 (LDB) ストレージ サービス
• (Golang) immudb - ゼロトラスト、キー/値と SQL、改ざん防止、データ変更履歴に基づく不変データベース
• (Rust) toydb - 学習プロジェクトとして書かれた Rust の分散 SQL データベース
• (Rust) DB3 Network - 分散型 Firebase Firestore の代替品
• (Python) ZODB - ACID トランザクション オブジェクト指向データベース
• (Golang) requiemdb - OTEL データの永続ストレージ

キーと値のデータベース

• (C) memcached - 分散システムでの使用を目的とした高性能マルチスレッドのイベントベースのキー/値キャッシュ ストア
• (C) redis - ディスク上に永続化される、さまざまな値タイプを持つメモリ内データベース
• (Rust) TiKV - もともと TiDB を補完するために作成された分散トランザクション キー/値データベース
• (C++) leveldb - Google で作成された高速なキーと値のストレージ ライブラリで、文字列キーから文字列値への順序付けされたマッピングを提供します。
• (Golang) goleveldb - Golang で実装された LevelDB
• (Golang) Summitdb - メモリ内の NoSQL キー/値データベース。ディスクに永続化し、Raft コンセンサス アルゴリズムを使用し、ACID に準拠し、トランザクション性と一貫性の高いモデルに基づいて構築されています。カスタム インデックス、地理空間データ、JSON ドキュメント、およびユーザー定義の JS スクリプトをサポートしています。
• (Python) pupdb - シンプルなファイルベースのキーと値のデータベース
• (Python) pickledb - Python の json モジュールを使用したオープンソースのキーと値のストア
• (C++) KeyDB - Redis に代わる高速なドロップイン マルチスレッドの代替手段
• (C++) Dragonfly - Redis および Memcache と完全に互換性があり、最新のアルゴリズムを使用して設計されたメモリ内データ ストア
• (Golang) BadgerDB - 純粋な Go で書かれた埋め込み可能、​​永続的、高速なキーと値 (KV) データベース
• (Golang) BuntDB - 純粋な Go の低レベルのメモリ内キー/値ストア。ディスクに永続化し、ACID に準拠し、複数のリーダーと単一のライターに対してロックを使用します。カスタム インデックスと地理空間データをサポートします。
• (Rust) ConstDB - CRDT とアクティブ/アクティブ レプリケーションを実装する Redis のようなキャッシュ ストア。
• (Golang) GhostDB - あらゆる規模でマイクロ秒のパフォーマンスを実現する、分散型のメモリ内汎用キー/値データ ストア
• (Dart) Hive - 純粋な Dart で書かれた軽量で超高速なキーと値のデータベース。ビットカスクからインスピレーションを得た
• (Golang)rosedb - bitcask ベースの高速で安定した組み込み NoSQL データベースで、文字列、リスト、ハッシュ、セット、ソート セットなどのさまざまなデータ構造をサポートします。
• (Rust) PumpkinDB - 不変の順序付けされたキーと値のデータベース エンジン
• (Golang) FlashDB - 純粋な Go のシンプルなメモリ内キー/値ストア。ディスクに永続化し、ACID に準拠し、複数のリーダーと単一のライターに対してロックを使用します。 SET、SORTED SET、HASH、STRING などのデータ構造に対する Redis のような操作をサポートします。
• (PHP) Lazer - JSON ファイルに基づく PHP フラット ファイル データベース
• (Golang) Scribble - Golang の小さな JSON データベース
• (Golang) FlyDB - bitcask ペーパーに基づく高性能 KV ストレージ エンジンは、redis プロトコルと対応するデータ構造をサポートします
• (Rust) Engula - キャッシュ、データベース、ストレージ エンジンとして使用される分散型キー/値ストア
• (Golang) Dice - Redis 方言を話す非常にシンプルな Golang ベースのメモリ内 KV ストア

リレーショナル、SQL、NewSQL データベース

• (Golang) CockroachDB - トランザクション対応で一貫性の高いキーと値のストア上に構築された分散フォールトトレラント SQL データベース
• (Golang) YugabyteDB - ミッションクリティカルなアプリケーション用のクラウドネイティブ分散 SQL データベース
• (Golang) RQLite - SQLite をストレージ エンジンとして使用する軽量の分散リレーショナル データベース
• (Golang) Kingbus - raft に基づく分散型 MySQL binlog ストア [Raft]
• (C++) YDB は、高可用性とスケーラビリティを厳密な一貫性と ACID トランザクションと組み合わせたオープンソースの分散 SQL データベースです。
• (Golang) RadonDB - 無制限のスケーラビリティとパフォーマンスを実現するオープンソースのクラウドネイティブ MySQL データベース

NoSQL、ドキュメントデータベース

• (C++) MongoDB - 開発とスケーリングを容易にするために設計されたドキュメント データベース
• (Golang) FerretDB - MongoDB 6.0 以降のワイヤ プロトコル クエリを SQL に変換するプロキシ - PostgreSQL をデータベース エンジンとして使用
• (C#) LiteDB - 単一のデータ ファイル内の NoSQL ドキュメント ストア
• (Python) tinydb - 純粋な Python で書かれた軽量のドキュメント指向データベース
• (PHP) SleekDB - データをプレーンな JSON ファイルに保存する、サードパーティの依存関係を持たない PHP で実装されたシンプルなフラット ファイル NoSQL のようなデータベース
• (Rust) BonsaiDB - 構成可能な遅延オンディスク データ ストアを備えた、ACID、トランザクション KV、またはドキュメント開発に適したデータベース
• (Golang) CloverDB - 純粋な Golang で書かれた軽量のドキュメント指向 NoSQL データベース

グラフデータベース

• (Java) neo4j - グラフデータベース
• (Python)edgedb - グラフリレーショナルデータベース
• (C++) nebula - 水平方向のスケーラビリティと高可用性を特徴とする分散型高速オープンソース グラフ データベース
• (Golang) EliasDB - グラフベースの軽量データベース

時系列

• (Golang) VictoriaMetrics - 高速でコスト効率の高い監視ソリューションと時系列データベース
• (Golang) influxdb - メトリクス、イベント、リアルタイム分析用のスケーラブルなデータストア
• (Java) trino - ビッグデータ分析用の高速分散 SQL クエリ エンジン
• (Java) Apache Doris - 使いやすく、高性能で統合された分析データベース
• (Scala) FiloDB - 分散型、Prometheus 互換、リアルタイム、インメモリ、非常にスケーラブルな、マルチスキーマ時系列 / イベント / 運用データベース
• (Rust) ceresdb - 時系列ワークロードと分析ワークロードの両方を処理できる、高性能、分散型、スキーマレスのクラウドネイティブ時系列データベース
• (Golang) tstorage は、簡単な API を備えた時系列データ用の軽量ローカル オンディスク ストレージ エンジンです。
• (Rust) CnosDB は、高性能、高圧縮、そして使いやすいオープンソースの分散時系列データベースです。 IoT、産業用インターネット、コネクテッドカー、IT運用などの分野で活用
• (Golang) LinDB - スケーラブル、高性能、高可用性の分散時系列データベース
• (Scala) FiloDB - 分散型、プロメテウス互換、リアルタイム、インメモリ、非常にスケーラブルなマルチスキーマ時系列/イベント/運用データベース
• (Rust) CeresDB - 高性能の分散型クラウドネイティブ時系列データベース

カラムデータベース

• (Java) Apache Cassandra - 拡張性の高いパーティション化された行ストア。行は必要な主キーを持つテーブルに編成されます。
• (C++) scylladb - Apache Cassandra および Amazon DynamoDB と API 互換性のあるリアルタイム ビッグ データ データベース
• (Golang) FrostDB - Go で書かれた埋め込み可能なワイドカラム列型データベース

権限データベース

• (Golang) SpiceDB - Google ザンジバルにインスピレーションを得た、セキュリティ クリティカルなアプリケーションの権限を作成および管理するためのデータベース システム
• (Golang) Keto - Google ザンジバルにインスピレーションを得たオープン ソース データベース、gRPC、REST API、newSQL、および簡単で詳細な権限言語。 ACL、RBACをサポート

分析データベース

• (C++) BaikalDB は、ペタバイト規模向けに設計された分散型 HTAP MySQL 互換データベースです。
• (Golang) AresDB - GPU を利用したリアルタイム分析ストレージおよびクエリ エンジン

ベクトル

• (Rust) Qdrant - ベクトル類似性検索エンジンおよびベクトル データベース
• (Golang) milvus - 類似性検索および AI アプリケーションの組み込みを強化するために構築されたオープンソースのベクトル データベース
• (Golang) Weaviate - オブジェクトとベクトルの両方を保存するオープンソースのベクトル データベース
• (Golang) tobias-mayer/vector-db - 対数時間で類似したベクトルを検索するために使用できる単純なベクトル データベース
• (Rust) DANNY - ベクトル検索アプリケーションを構築するための分散型ベクトル データベース

ゲートウェイ

• (Golang) Glide - GenAI アプリの迅速な開発のためのオープンで信頼性の高い高速 LLM/モデル ゲートウェイ
• (Golang) Traefik - クラウドネイティブ アプリ プロキシ
• (Lua) Kong - クラウドネイティブな機能豊富な API ゲートワット
• (Golang) Skipper - サービス構成用の HTTP ルーターおよびリバース プロキシ
• (Golang) janus - 軽量の API ゲートウェイおよび管理プラットフォーム
• (Golang) Lura - ミドルウェアを備えた超パフォーマンス API ゲートウェイ
• (Python) MLFLow ゲートウェイ - LLM プロキシ

ロック

• (Golang) etcd - 分散システムの最も重要なデータのための分散型信頼性の高いキー/値ストア [Raft + gRPC]
• (Java) Apache Zookeeper - 信頼性の高い分散調整
• (Golang) chubby - Google の分散ロック サービスである Chubby の (非常に単純化された) 実装

ストリーミング

• (Java) Kafka - 分散型、拡張性が高く、弾力性があり、耐障害性があり、安全なイベント ストリーミング プラットフォーム
• (Python) faust - Kafka Streams のアイデアを Python に移植する分散ストリーム処理ライブラリ
• (Golang) Liftbridge - NATS メッセージング システムの耐久性のあるストリーム拡張を実装することによる、軽量でフォールト トレラントなメッセージ ストリーム
• (Rust) RisingWave - リアルタイム アプリケーション構築の複雑さとコストを削減するように設計された、ストリーム処理用の分散 SQL データベース

スケジューラ

• (Golang) dkron - クラウド ネイティブ環境向けの分散型フォールト トレラント ジョブ スケジューリング システム
• (Python) Celery - 分散タスクキュー
• (Python) Apache Airflow - ワークフローをプログラムで作成、スケジュール、監視するためのプラットフォーム

キュー

• (Golang) nsq - 大規模に動作し、1 日あたり数十億のメッセージを処理するように設計されたリアルタイム フォールト トレラント分散メッセージング プラットフォーム [Raft + gRPC]
• (Golang) Sandglass - 分散型、水平方向にスケーラブル、永続的な、時間順のメッセージ キュー
• (Golang) dnpipes - AWS SQS に相当する Unix 名前付きパイプの分散バージョン
• (PHP) GatewayWorker - ワーカーマンに基づく分散型リアルタイム メッセージング フレームワーク
• (C++) ZeroMQ - 非同期メッセージ キューの抽象化、複数のメッセージング パターン、メッセージ フィルタリング (サブスクリプション)、複数のトランスポート プロトコルへのシームレスなアクセスなど
• (Java) Apache Pulsar - 非常に柔軟なメッセージング モデルと直感的なクライアント API を備えた分散パブリッシュ/サブスクライブ メッセージング プラットフォーム
• (Java) Apache ActiveMQ - Apache 2.0 ライセンスを取得した高性能メッセージ ブローカー

検索エンジン

• (Java) ElasticSearch - 分散型 RESTful 検索および分析エンジン
• (Java) Apache Lucene - 高性能でフル機能のテキスト検索エンジン ライブラリ
• (Rust) Meil​​iSearch - 超高速、超関連性、およびタイプミス耐性のある検索エンジン
• (JS) FlexSearch - メモリに柔軟な全文検索ライブラリ
• (Golang) RiotSearch - 分散型のシンプルで効率的な全文検索エンジン
• (C++) Typesense - 高速、タイプミスに強い、ファジー検索エンジン
• (Rust) Sonic - 高速、軽量、スキーマレスの検索バックエンド。数 MB の RAM で実行される Elasticsearch の代替手段

ファイルシステム

• (Golang) JuiceFS - Hadoop 互換の AWS S3 互換の高性能 POSIX ファイル システム
• (Golang) SeaweedFS - シンプルな Hadoop 互換の AWS S3 互換の拡張性の高い分散ファイル システム
• (C) GlusterFS - 数ペタバイトまで拡張できる分散ストレージ
• (C++) GlusterFS - 信頼性が高く、スケーラブルで効率的な分散ファイル システム。データを多数の物理サーバーに分散し、エンド ユーザーには単一のファイル システムとして見えるようにします。

サービスディスカバリ

• (Golang) sleuth - 同じネットワーク上に存在する HTTP サービス間のマスターレスのピアツーピア自動検出と RPC

データ処理

• (Scala) Apache Spark - 大規模なデータ処理のための統合分析エンジン

ターミナルDB

• (Prolog) terminusdb - コラボレーション モデルを備えた分散データベース

OS

• (C) HarveyOS - 分散オペレーティング システム

フレームワーク

• (Golang) etcd - 分散システム開発用のフレームワーク。 RPC やイベント駆動型通信など、分散システム開発の中核となる要件を提供します。
• (Golang) ergo - Golang での Erlang/OTP アプローチのポート
• (Golang) gosiris - Golang のアクター フレームワーク
• (Python) cotyledon - 長時間実行されるサービスを定義するためのフレームワーク。 Unix シグナルの処理、ワーカーの生成、子プロセスの監視、デーモンのリロード、sd-notify、ワーカー生成のレート制限などを提供します。
• (Java)atomix - フォールトトレラントな分散システムを構築するための完全な機能を備えたフレームワーク [REST + Raft]
• (Kotlin) orbit - 分散システムを構築するための仮想アクター フレームワーク
• (JS) hemera - NATS メッセージング システム [RPC] 用の Node.js マイクロサービス ツールキット
• (Python) Tooz - 開発者が分散アプリケーションを構築できるように支援する調整 API を提供することで、グループ メンバーシップ プロトコル、ロック サービス、リーダー選出などの最も一般的な分散プリミティブを一元化します。
• (C++) Nebula - 同時実行性、分散性、回復力の高いメッセージ駆動型アプリケーションを構築するための強力なフレームワーク
• (GoLang) Service Weaver - アプリケーションをモジュール式バイナリとして作成し、それをマイクロサービスのセットとしてデプロイできるフレームワーク
• (GoLang) Dapr - サイドカーとして機能し、開発者が回復力のあるステートレスおよびステートフルなマイクロサービスを簡単に構築できるポータブルなサーバーレスのイベント駆動型ランタイム

コンポーネント

• (Golang) Dragonboat - 純粋な Go の高性能マルチグループ Raft コンセンサス ライブラリ
• (Golang) Golimit - Uber リングポップベースの分散型および分散型レートリミッター
• (Python) Tenacity - 汎用再試行ライブラリ
• (Elixir) ex_hash_ring - 優れた C ハッシュ リング ライブラリに基づく純粋な Elixir 一貫性のあるハッシュ リングの実装
• (Elixir) raft - Raft コンセンサスの実装
• (C++) NuRaft - 基礎プロジェクトから派生した Raft 実装
• (Python) Hyx - 復元力のある最新の Python マイクロサービスのための軽量フォールト トレランス プリミティブ
• (Python) Migdalor - Python 非同期ノード用の Kubernetes ネイティブ ピア検出
• (Golang) スキップリスト - スキップリスト データ構造の Golang 実装
• (Java) Waltz - トランザクションをレプリケートするためのクォーラムベースの分散先行書き込みログ

その他のリソース

• awesome-scalability - スケーラブルで信頼性が高く、パフォーマンスに優れた大規模システムのパターンを説明するためのリーディング リスト
• awesome-distributed-systems - 分散システムに関する素晴らしいマテリアルの厳選されたリスト
• awesome-database-learning - データベースの内部を理解するための学習教材のリスト
• (C/C++)(書籍) C/C++ を使用して独自の Redis を構築する
• (C) (記事) C で sqlite クローンを最初から作成する
• Berkley CS186: データベース システムの概要
• MIT 6.830: データベース システム