miyako

Miyako

Una herramienta para acelerar la descarga de grandes cantidades de archivos pequeños

Este proyecto se originó a partir de un juego que jugué antes. Descargaba una gran cantidad de archivos pequeños al actualizar la versión. Sin embargo, no había optimización, por lo que la velocidad era muy lenta. Por lo tanto, pensé si había una manera de optimizarlo. Escenario de descarga de una gran cantidad de archivos pequeños. Después de una idea simple, se me ocurrió esta idea. Dado que la velocidad de descarga es lenta porque hay demasiados archivos pequeños, simplemente colóquelos todos en un archivo grande. , ¡la velocidad de descarga de archivos grandes puede, en teoría, alcanzar el ancho de banda completo!

El principio del proyecto es vincular directamente una gran cantidad de archivos pequeños en un archivo de bloque y luego generar un catálogo. El cliente descarga el archivo de bloque a través del catálogo y restaura el archivo localmente según el tamaño y la ruta del archivo. Las características de HTTP Range también pueden lograr la función de interrupción. Haga clic para volver a conectarse y descargar un archivo.

como usar

1. Vaya a Versiones para descargar las últimas compilaciones binarias de cliente y servidor.
2. Implementar el servidor
   1. Coloque el archivo binario en cualquier directorio y cree una carpeta assets en el mismo directorio
   2. Coloque los archivos pequeños que deben descargarse más rápido en cualquier carpeta dentro de la carpeta assets , como assets/example
   3. Inicie el servidor. Cuando se inicie el servidor, creará automáticamente archivos de empaquetado para todas las subcarpetas en el directorio assets y creará catalog.json para ellos.
   4. El servidor indica que Server started at http://0.0.0.0:8080 lo que significa que el inicio está completo.
3. Descargar archivos a través del cliente
   1. Coloque archivos binarios en cualquier directorio
   2. Ingrese client para comenzar a descargar el archivo. es la dirección de descarga de catalog.json , que se generará automáticamente cuando se inicie el servidor. Suponga que la ruta del archivo de su servidor es assets/example , luego la dirección del catálogo es http://localhost:8080/example/catalog.json
   3. Los archivos descargados se guardarán automáticamente en la carpeta download .

construir

La compilación requiere Golang >= 1.22.2

1. Instalar dependencias

go mod tidy

2. construir el servidor

go build ./cmd/server/

3. Construir cliente

go build ./cmd/client/

Cita

Paquete de importación

 go get -u github.com/nijinekoyo/miyako

Instrucciones del paquete

1. paquete/catálogo
   Se utiliza para crear y analizar catálogos; consulte la documentación de la API.
2. paquete/bloque
   Se utiliza para generar bloques de archivos y descargar bloques de archivos; consulte la documentación de la API

licencia

Este proyecto se distribuye bajo el acuerdo MIT License