llm comparison tool

Comparación de modelos de idiomas grandes

Este proyecto nos permite probar las indicaciones con múltiples modelos de idiomas grandes y comparar los resultados.

1. Seleccione modelos para comparar.
2. Ingrese una pregunta o mensaje.
3. Compare los resultados.

Utiliza OpenRouter para conectarse a diferentes modelos. Algunos modelos son gratuitos, otros no. Si decide usar modelos pagos, OpenRouter tiene un límite de crédito para evitar facturas sorpresa.

ADVERTENCIA : No use este proyecto para información privada y confidencial. OpenRouter se conecta a diferentes proveedores. No puedo garantizar las políticas de privacidad de OpenRouter y proveedores. Suponga que lo que envía a OpenRouter es público y actúa en consecuencia.

Guía rápida de arranque

Primero, prepare el entorno, si aún no lo ha hecho.

Ejecute los siguientes comandos para activar el entorno e iniciar la aplicación en un navegador.

 source venv/bin/activate
streamlit run app.py

Abra la URL que se muestra en la terminal en un navegador.

Ejecutando como contenedor

1. Construya el contenedor: docker build --progress=plain -t llm-comparison .
2. Inicie el contenedor: docker compose up -d
3. Abra una ventana del navegador a http: // máquina_address: 8501 (si se ejecuta localmente: http: // localhost: 8501)
4. Detenga el contenedor cuando esté terminado: docker compose down

Preparando el medio ambiente

Este es un paso único. Si ya ha hecho esto, simplemente active el entorno virtual con source venv/bin/activate .

Hay dos pasos para preparar el medio ambiente.

1. Ambiente de pitón
2. Llave de API de OpenRouter

Ambiente de pitón

Ejecute los siguientes comandos para crear un entorno virtual e instalar los paquetes requeridos.

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

Llave de API de OpenRouter

El código utiliza OpenRouter para acceder a múltiples modelos. Vea aquí para obtener una lista de modelos compatibles.

Si ya tiene una cuenta de OpenRouter, cree una clave API aquí. Si no tiene una cuenta, cree una aquí, luego cree la clave API. Opcionalmente, agregue créditos si planea usar modelos pagos.

Una vez que tenga la clave API, cree un archivo .env en el directorio raíz del proyecto con el siguiente contenido.

OPENROUTER_API_KEY= < your key >

Es seguro agregar la llave aquí. Nunca estará comprometido con el repositorio.