llm cli

LLM CLI

Инструмент CLI для взаимодействия с LLM. Предоставьте свои ключи API в следующем формате: <completer>_API_KEY>

Поддерживаемые комплектаторы:

• ANTHROPIC
• MISTRAL
• OPENAI
• PERPLEXITY

Установка

В настоящее время вы можете выполнять сборку из исходного кода и использовать сгенерированный двоичный файл. Клонируйте репозиторий и выполните следующую команду:

make

Это создаст двоичный файл с именем llm в каталоге bin .

Функции ?

1. Сохранение контекста

Все взаимодействия хранятся локально в вашей файловой системе. Эта настройка позволяет отправлять несколько запросов LLM, при этом контекст сохраняется в разных разговорах.

2. Общая история разговоров

История ваших разговоров может быть доступна всем поддерживаемым LLM. Это позволяет вам использовать сильные стороны каждой модели, объединяя их возможности для создания мощного разговорного опыта.

3. Терминальная помощь

Добавление префикса llm к любой команде обеспечивает четкое и краткое объяснение этой команды, а также примеры, демонстрирующие ее использование.

4. Несколько сеансов

У вас может быть несколько сеансов, каждый со своим контекстом и историей. Это позволяет вам переключаться между разными разговорами и поддерживать единообразие разговорного процесса.

Вскоре ?

• Модели по умолчанию для каждого варианта
• Тщательно продуманная система подсказывает терминальную помощь.
• Несколько сеансов
• Пользовательский интерфейс с использованием tview

Использование

1. Интерфейсы командной строки

Чтобы использовать CLI, вам необходимо предоставить ключи API в качестве переменных среды. Вы можете установить эти переменные в файле конфигурации оболочки (например, .zshrc ) или непосредственно в терминале.

После того, как вы установили переменные среды, вы можете использовать следующую команду (из корня репо), чтобы запросить LLM:

bin/llm < llm-name > [flags] < prompt >

Чтобы пообщаться, просто используйте chat :

bin/llm < llm-name > chat

И, конечно же, добавьте /path/to/repo/bin в $PATH чтобы использовать CLI откуда угодно.

2. Командная помощь

Создайте переменную среды DEFAULT_COMPLETER с именем средства завершения, которое вы хотите использовать. Они есть:

• claude
• mistral
• gpt

Затем вы можете добавить префикс llm к любой команде, которую хотите понять, чтобы понять, как она работает, с помощью примеров.