miyako

宮古

大量の小さなファイルのダウンロードを高速化するツール

このプロジェクトは以前プレイしたゲームに由来しており、バージョンを更新すると大量の小さなファイルがダウンロードされるため、速度が非常に低かったため、最適化する方法はないか考えました。多数の小さなファイルをダウンロードするシナリオ。小さなファイルが多すぎてダウンロード速度が遅いため、結局、それらをすべて 1 つの大きなファイルにまとめてしまうという考えを思いつきました。 、大きなファイルのダウンロード速度は理論的には全帯域幅に達する可能性があります。

プロジェクトの原理は、多数の小さなファイルをブロック ファイルに直接リンクし、クライアントがカタログを通じてブロック ファイルをダウンロードし、ファイル サイズとパスに基づいてファイルをローカルに復元することです。 HTTP Rangeの特性により、クリックして再接続し、ファイルをダウンロードする機能も実現できます。

使用方法

1. 「リリース」に移動して、最新のクライアントおよびサーバーのバイナリ ビルドをダウンロードします。
2. サーバーを展開する
   1. バイナリ ファイルを任意のディレクトリに配置し、同じディレクトリにassetsフォルダーを作成します。
   2. より速くダウンロードする必要がある小さなファイルを、 assets/exampleなどのassetsフォルダー内の任意のフォルダーに配置します。
   3. サーバーを起動します。サーバーが起動すると、 assetsディレクトリ内のすべてのサブフォルダーのパッケージ ファイルが自動的に作成され、それらのcatalog.jsonが作成されます。
   4. サーバーはServer started at http://0.0.0.0:8080これは、起動が完了したことを意味します。
3. クライアント経由でファイルをダウンロードする
   1. バイナリファイルを任意のディレクトリに配置します
   2. ファイルのダウンロードを開始するには、 client を入力します。 は、サーバーの起動時に自動的に生成される、 catalog.jsonのダウンロード アドレスです。サーバー ファイル パスは、 assets/exampleであり、カタログ アドレスはhttp://localhost:8080/example/catalog.jsonであるとします。 http://localhost:8080/example/catalog.json
   3. ダウンロードしたファイルはdownloadフォルダーに自動的に保存されます

建てる

ビルドには Golang >= 1.22.2 が必要です

1. 依存関係をインストールする

go mod tidy

2. サーバーを構築する

go build ./cmd/server/

3. ビルドクライアント

go build ./cmd/client/

引用

パッケージのインポート

 go get -u github.com/nijinekoyo/miyako

パッケージの説明書

1. パッケージ/カタログ
   カタログの作成と解析に使用されます。API ドキュメントを参照してください。
2. パッケージ/ブロック
   ファイル ブロックの生成とファイル ブロックのダウンロードに使用されます。API ドキュメントを参照してください。

ライセンス

このプロジェクトはMIT License契約に基づいて配布されています