llm comparison tool

Comparando grandes modelos de linguagem

Este projeto nos permite testar instruções em vários modelos de idiomas grandes e comparar os resultados.

1. Selecione modelos a serem comparados.
2. Insira uma pergunta ou prompt.
3. Compare os resultados.

Ele usa o OpenRouter para se conectar a diferentes modelos. Alguns modelos são gratuitos, outros não. Se você decidir usar modelos pagos, o OpenRouter tem um limite de crédito para evitar contas surpresa.

Aviso : não use este projeto para informações privadas e confidenciais. O OpenRouter se conecta a diferentes fornecedores. Não posso garantir as políticas de privacidade do OpenRouter e dos fornecedores. Suponha que o que você envie ao OpenRouter seja público e age de acordo.

Guia rápido para iniciar

Primeiro, prepare o meio ambiente, se você ainda não o fez.

Execute os seguintes comandos para ativar o ambiente e iniciar o aplicativo em um navegador.

 source venv/bin/activate
streamlit run app.py

Abra o URL mostrado no terminal em um navegador.

Correndo como um contêiner

1. Construa o recipiente: docker build --progress=plain -t llm-comparison .
2. Inicie o contêiner: docker compose up -d
3. Abra uma janela do navegador para http: // máquina_address: 8501 (se estiver executando localmente: http: // localhost: 8501)
4. Pare o recipiente quando pronto: docker compose down

Preparando o meio ambiente

Este é um passo único. Se você já fez isso, basta ativar o ambiente virtual com source venv/bin/activate .

Existem duas etapas para preparar o meio ambiente.

1. Ambiente Python
2. Chave da API do OpenRouter

Ambiente Python

Execute os seguintes comandos para criar um ambiente virtual e instalar os pacotes necessários.

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

Chave da API do OpenRouter

O código usa o OpenRouter para acessar vários modelos. Veja aqui uma lista de modelos suportados.

Se você já possui uma conta do OpenRouter, crie uma chave da API aqui. Se você não tiver uma conta, crie uma aqui e crie a chave da API. Opcionalmente, adicione créditos se você planeja usar modelos pagos.

Depois de ter a chave da API, crie um arquivo .env no diretório raiz do projeto com o seguinte conteúdo.

OPENROUTER_API_KEY= < your key >

É seguro adicionar a chave aqui. Nunca estará comprometido com o repositório.