LLMstudio

LLMstudio от TensorOps

Оперативное проектирование у вас под рукой

? Функции

• Доступ к прокси-серверу LLM : беспрепятственный доступ ко всем последним LLM от OpenAI, Anthropic, Google.
• Поддержка пользовательских и локальных LLM : используйте собственные или локальные LLM с открытым исходным кодом через Ollama.
• Пользовательский интерфейс Prompt Playground : удобный интерфейс для разработки и точной настройки подсказок.
• Python SDK : легко интегрируйте LLMstudio в существующие рабочие процессы.
• Мониторинг и регистрация : отслеживайте использование и производительность всех запросов.
• Интеграция LangChain : LLMstudio интегрируется с уже существующими проектами LangChain.
• Пакетный вызов : отправьте несколько запросов одновременно для повышения эффективности.
• Интеллектуальная маршрутизация и резервный вариант : обеспечьте круглосуточную доступность, перенаправляя запросы доверенным LLM.
• Приведение типов (скоро) : преобразуйте типы данных в соответствии с вашим конкретным вариантом использования.

Быстрый старт

Не забудьте зайти на страницу https://docs.llmstudio.ai.

Установка

Установите последнюю версию LLMstudio с помощью pip . Мы предлагаем вам создать и активировать новую среду с помощью conda

Для полной версии:

pip install ' llmstudio[proxy,tracker] '

Для облегченной (основной) версии:

pip install llmstudio

Создайте файл .env по тому же пути, по которому вы запустите LLMstudio.

OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "

Теперь вы сможете запустить LLMstudio, используя следующую команду.

llmstudio server --proxy --tracker

Если установлен флаг --proxy , вы сможете получить доступ к Swagger по адресу http://0.0.0.0:50001/docs (порт по умолчанию).

Если установлен флаг --tracker , вы сможете получить доступ к Swagger по адресу http://0.0.0.0:50002/docs (порт по умолчанию).

Документация

• Посетите нашу документацию, чтобы узнать, как работает SDK (скоро)
• Ознакомьтесь с примерами наших блокнотов и интерактивными руководствами.

?‍ Содействие

• Ознакомьтесь с нашим Руководством по вкладу, чтобы узнать, как вы можете помочь LLMstudio.
• Присоединяйтесь к нашему Discord, чтобы поговорить с другими энтузиастами LLMstudio.

Обучение

---

Благодарим вас за выбор LLMstudio. Ваш путь к совершенствованию взаимодействия с искусственным интеллектом начинается здесь.