llm comparison tool

Сравнение больших языковых моделей

Этот проект позволяет нам проверять подсказки с несколькими крупными языковыми моделями и сравнивать результаты.

1. Выберите модели для сравнения.
2. Введите вопрос или подсказку.
3. Сравните результаты.

Он использует OpenRouter для подключения к различным моделям. Некоторые модели бесплатны, другие - нет. Если вы решите использовать платные модели, OpenRouter имеет кредитный лимит, чтобы избежать неожиданных счетов.

Предупреждение : не используйте этот проект для частной и конфиденциальной информации. OpenRouter подключается к разным поставщикам. Я не могу поручиться за политику конфиденциальности OpenRouter и поставщиков. Предположим, что то, что вы отправляете в OpenRouter, является публичным и действует соответственно.

Быстрое начало гида

Во -первых, подготовьте окружающую среду, если вы еще этого не сделали.

Запустите следующие команды, чтобы активировать среду и запустить приложение в браузере.

 source venv/bin/activate
streamlit run app.py

Откройте URL, показанный в терминале в браузере.

Бег в качестве контейнера

1. Создайте контейнер: docker build --progress=plain -t llm-comparison .
2. Запустите контейнер: docker compose up -d
3. Откройте окно браузера по адресу http: // machine_address: 8501 (при запуске локально: http: // localhost: 8501)
4. Остановите контейнер, когда закончите: docker compose down

Подготовка окружающей среды

Это единовременный шаг. Если вы уже сделали это, просто активируйте виртуальную среду с source venv/bin/activate .

Есть два шага, чтобы подготовить окружающую среду.

1. Среда Python
2. OpenRouter API -ключ

Среда Python

Запустите следующие команды, чтобы создать виртуальную среду и установить необходимые пакеты.

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

OpenRouter API -ключ

Код использует OpenRouter для доступа к нескольким моделям. Смотрите здесь для списка поддерживаемых моделей.

Если у вас уже есть учетная запись OpenRouter, создайте здесь ключ API. Если у вас нет учетной записи, создайте ее здесь, то создайте ключ API. При желании добавьте кредиты, если вы планируете использовать платные модели.

После того, как у вас есть ключ API, создайте файл .env в каталоге Project Root со следующим контентом.

OPENROUTER_API_KEY= < your key >

Здесь безопасно добавить ключ. Это никогда не будет привержена репозитории.