Мияко

Мияко

Инструмент для ускорения загрузки больших объемов небольших файлов.

Этот проект возник из игры, в которую я играл раньше. При обновлении версии загружалось большое количество мелких файлов. Однако оптимизации не было, поэтому скорость была очень низкой. Поэтому я подумал, есть ли способ оптимизировать. сценарий загрузки большого количества маленьких файлов.После простой идеи мне пришла в голову такая идея, так как скорость загрузки низкая из-за слишком большого количества маленьких файлов, то просто поместите их все в один большой файл. , скорость загрузки больших файлов теоретически может достигать полной пропускной способности!

Принцип проекта заключается в том, чтобы напрямую связать большое количество небольших файлов в файл блока, а затем создать каталог. Клиент загружает файл блока через каталог и восстанавливает файл локально на основе размера файла и пути. характеристики HTTP Range , он также может добиться прерывания. Нажмите, чтобы повторно подключиться и загрузить функцию файла.

Как использовать

1. Перейдите в раздел «Релизы», чтобы загрузить последние двоичные сборки клиента и сервера.
2. Развертывание сервера
   1. Поместите двоичный файл в любой каталог и создайте папку assets в том же каталоге.
   2. Поместите небольшие файлы, которые необходимо загрузить быстрее, в любую папку внутри папки assets , например assets/example
   3. Запустите сервер. Когда сервер запустится, он автоматически создаст файлы упаковки для всех подпапок в каталоге assets и создаст для них catalog.json .
   4. Сервер предложит Server started at http://0.0.0.0:8080 что означает, что запуск завершен.
3. Загрузка файлов через клиент
   1. Поместите двоичные файлы в любой каталог
   2. Введите client чтобы начать загрузку файла. — это адрес загрузки catalog.json , который будет автоматически сгенерирован при запуске сервера. Предположим, что путь к файлу вашего сервера — assets/example , тогда адрес каталога — http://localhost:8080/example/catalog.json
   3. Загруженные файлы будут автоматически сохраняться в папке download

строить

Для сборки требуется Golang >= 1.22.2.

1. Установить зависимости

go mod tidy

2. Сборка сервера

go build ./cmd/server/

3. Создать клиент

go build ./cmd/client/

Цитировать

Импортировать пакет

 go get -u github.com/nijinekoyo/miyako

Инструкции по упаковке

1. упаковка/каталог
   Используется для создания и анализа каталогов, см. документацию API.
2. упаковка/блок
   Используется для создания блоков файлов и загрузки блоков файлов. См. документацию API.

лицензия

Этот проект распространяется по MIT License