basaran

Basaran

Basaran es una alternativa de código abierto a la API de finalización de texto OpenAI. Proporciona una API de transmisión compatible para sus modelos de generación de texto basados ​​en Hugging Face Transformers.

La comunidad de código abierto eventualmente será testigo del momento de Difusión Estable para modelos de lenguajes grandes (LLM), y Basaran le permite reemplazar el servicio de OpenAI con el último modelo de código abierto para impulsar su aplicación sin modificar una sola línea de código.

Las características clave de Basaran son:

• Generación de streaming utilizando diversas estrategias de decodificación.
• Soporte tanto para modelos de solo decodificador como de codificador-decodificador.
• Detokenizer que maneja sustitutos y espacios en blanco.
• Compatibilidad con múltiples GPU con cuantificación opcional.
• Progreso parcial en tiempo real utilizando eventos enviados por el servidor.
• Compatibilidad con OpenAI API y bibliotecas cliente.
• ¡Viene con un elegante parque infantil basado en la web!

Inicio rápido

TL;DR

Reemplace user/repo con su modelo seleccionado y XYZ con la última versión, luego ejecute:

docker run -p 80:80 -e MODEL=user/repo hyperonym/basaran:X.Y.Z

¡Y listo!

 Playground: http://127.0.0.1/
API:        http://127.0.0.1/v1/completions

Instalación

Usando Docker (recomendado)

Las imágenes de Docker están disponibles en los paquetes Docker Hub y GitHub.

Para la aceleración de GPU, también necesita instalar el controlador NVIDIA y NVIDIA Container Runtime. La imagen de Basaran ya viene con bibliotecas relacionadas como CUDA y cuDNN, por lo que no es necesario instalarlas manualmente.

La imagen de Basaran se puede utilizar de tres formas:

• Ejecutar directamente : al especificar la variable de entorno MODEL="user/repo" , el modelo correspondiente se puede descargar desde Hugging Face Hub durante el primer inicio.
• Agrupación : cree un nuevo Dockerfile para precargar un modelo público o agrupar un modelo privado.
• Montaje vinculado : monte un modelo desde el sistema de archivos local en el contenedor y apunte la variable de entorno MODEL a la ruta correspondiente.

Para los casos de uso anteriores, puede encontrar archivos Dockerfiles y archivos docker-compose de muestra en el directorio de implementaciones.

Usando pepita

Basaran se prueba en Python 3.8+ y PyTorch 1.13+. Debes crear un entorno virtual con la versión de Python que deseas utilizar y activarlo antes de continuar.

1. Instalar con pip :

pip install basaran

2. Instale las dependencias necesarias para la aceleración de GPU (opcional):

pip install accelerate bitsandbytes

3. Reemplace user/repo con el modelo seleccionado y ejecute Basaran:

MODEL=user/repo PORT=80 python -m basaran

Para obtener una lista completa de variables de entorno, consulte __init__.py .

Ejecutando desde la fuente

Si desea acceder a las funciones más recientes o piratearlas usted mismo, puede optar por ejecutar desde la fuente usando git .

1. Clonar el repositorio:

git clone https://github.com/hyperonym/basaran.git && cd basaran

2. Instalar dependencias:

pip install -r requirements.txt

3. Reemplace user/repo con el modelo seleccionado y ejecute Basaran:

MODEL=user/repo PORT=80 python -m basaran

Uso básico

rizo

Los formatos de solicitud y respuesta HTTP de Basaran son consistentes con la API OpenAI.

Tomando como ejemplo la finalización de texto:

curl http://127.0.0.1/v1/completions 
    -H ' Content-Type: application/json ' 
    -d ' { "prompt": "once upon a time,", "echo": true } '

Ejemplo de respuesta

{
    "id" : " cmpl-e08c701b4ba032c09ef080e1 " ,
    "object" : " text_completion " ,
    "created" : 1678003509 ,
    "model" : " bigscience/bloomz-560m " ,
    "choices" : [
        {
            "text" : " once upon a time, the human being faces a complicated situation and he needs to find a new life. " ,
            "index" : 0 ,
            "logprobs" : null ,
            "finish_reason" : " length "
        }
    ],
    "usage" : {
        "prompt_tokens" : 5 ,
        "completion_tokens" : 21 ,
        "total_tokens" : 26
    }
}

Biblioteca cliente OpenAI

Si su aplicación utiliza bibliotecas cliente proporcionadas por OpenAI, solo necesita modificar la variable de entorno OPENAI_API_BASE para que coincida con el punto final de Basaran:

OPENAI_API_BASE= " http://127.0.0.1/v1 " python your_app.py

El directorio de ejemplos contiene ejemplos del uso de la biblioteca OpenAI Python.

Usar como biblioteca de Python

Basaran también está disponible como biblioteca en PyPI. Se puede utilizar directamente en Python sin la necesidad de iniciar un servidor API independiente.

1. Instalar con pip :

pip install basaran

2. Utilice la función load_model para cargar un modelo:

 from basaran . model import load_model

model = load_model ( "user/repo" )

3. Genere salida de streaming llamando al modelo:

 for choice in model ( "once upon a time" ):
    print ( choice )

El directorio de ejemplos contiene ejemplos del uso de Basaran como biblioteca.

Compatibilidad

El formato API de Basaran es consistente con el de OpenAI, con diferencias en compatibilidad principalmente en términos de soporte de parámetros y campos de respuesta. Las siguientes secciones proporcionan información detallada sobre la compatibilidad de cada punto final.

Modelos

Cada proceso de Basaran sirve solo a un modelo, por lo que el resultado solo contendrá ese modelo.

Terminaciones

Aunque Basaran no admite el parámetro model , la biblioteca cliente OpenAI requiere que esté presente. Por lo tanto, puede ingresar cualquier nombre de modelo aleatorio.

Parámetro	Basaran	Abierto AI	Valor predeterminado	Valor máximo
model	○	●	-	-
prompt	●	●	""	COMPLETION_MAX_PROMPT
suffix	○	●	-	-
min_tokens	●	○	0	COMPLETION_MAX_TOKENS
max_tokens	●	●	16	COMPLETION_MAX_TOKENS
temperature	●	●	1.0	-
top_p	●	●	1.0	-
n	●	●	1	COMPLETION_MAX_N
stream	●	●	false	-
logprobs	●	●	0	COMPLETION_MAX_LOGPROBS
echo	●	●	false	-
stop	○	●	-	-
presence_penalty	○	●	-	-
frequency_penalty	○	●	-	-
best_of	○	●	-	-
logit_bias	○	●	-	-
user	○	●	-	-

Charlar

Actualmente, proporcionar una API de chat unificada es difícil porque cada modelo tiene un formato diferente para el historial de chat.

Por lo tanto, se recomienda formatear previamente el historial de chat según los requisitos del modelo específico y utilizarlo como mensaje para la API de finalización.

GPT-NeoXT-Chat-Base-20B

 **Summarize a long document into a single sentence and ...**

<human>: Last year, the travel industry saw a big ...

<bot>: If you're traveling this spring break, ...

<human>: But ...

<bot>:

chatglm-6b

 [Round 0]
问：你好
答：你好!有什么我可以帮助你的吗?
[Round 1]
问：你是谁？
答：

Hoja de ruta

• API
  • Modelos
    • Listar modelos
    • Recuperar modelo
  • Terminaciones
    • Crear finalización
  • Charlar
    • Crear finalización de chat
• Modelo
  • Arquitecturas
    • Codificador-decodificador
    • Sólo decodificador
  • Estrategias de decodificación
    • Muestreo aleatorio con temperatura.
    • Muestreo de núcleo (arriba-p)
    • Detener secuencias
    • Penalizaciones por presencia y frecuencia

Consulte los números abiertos para obtener una lista completa de las características propuestas.

Contribuyendo

Este proyecto es de código abierto. Si tiene alguna idea o pregunta, no dude en comunicarse creando un problema.

Se agradecen mucho las contribuciones; consulte CONTRIBUTING.md para obtener más información.

Licencia

Basaran está disponible bajo la licencia MIT.

---

© 2023 Hiperónimo