llm

Магистр права

Утилита CLI и библиотека Python для взаимодействия с моделями большого языка как через удаленные API, так и через модели, которые можно установить и запустить на вашем собственном компьютере.

Запускайте запросы из командной строки, сохраняйте результаты в SQLite, генерируйте внедрения и многое другое.

Обратитесь к каталогу подключаемых модулей LLM , чтобы найти подключаемые модули, обеспечивающие доступ к удаленным и локальным моделям.

Полная документация: llm.datasette.io.

Предыстория этого проекта:

• llm, ttok и Strip-tags — инструменты CLI для работы с ChatGPT и другими LLM.
• Инструмент LLM CLI теперь поддерживает автономные языковые модели через плагины.
• Доступ к Llama 2 из командной строки с помощью плагина llm-replication
• Запустите Llama 2 на своем Mac, используя LLM и Homebrew.
• Знакомство с странным миром LLM
• LLM теперь предоставляет инструменты для работы с встраиваниями.
• Создайте поисковую систему изображений с помощью llm-clip, общайтесь с моделями с помощью llm-чата
• Множество вариантов запуска моделей Mistral в вашем терминале с помощью LLM

Установка

Установите этот инструмент с помощью pip :

pip install llm

Или используя Homebrew:

brew install llm

Подробная инструкция по установке.

Начиная

Если у вас есть ключ API OpenAI, вы можете сразу начать использовать модели OpenAI.

В качестве альтернативы OpenAI вы можете установить плагины для доступа к моделям других поставщиков, включая модели, которые можно установить и запустить на вашем собственном устройстве.

Сохраните ключ API OpenAI следующим образом:

llm keys set openai

Вам будет предложено ввести ключ следующим образом:

 Enter key: <paste here>

Теперь, когда вы сохранили ключ, вы можете запустить следующую подсказку:

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

Подробнее читайте в инструкции по использованию.

Установка модели, работающей на вашей машине

Плагины LLM могут добавлять поддержку альтернативных моделей, включая модели, которые работают на вашем компьютере.

Чтобы загрузить и запустить Mistral 7B Instruct локально, вы можете установить плагин llm-gpt4all:

llm install llm-gpt4all

Затем запустите эту команду, чтобы увидеть, какие модели она делает доступными:

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

Каждый файл модели будет загружен один раз при первом его использовании. Попробуйте Мистраль вот так:

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

Вы также можете начать сеанс чата с моделью с помощью команды llm chat :

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

Использование системной подсказки

Вы можете использовать опцию -s/--system , чтобы установить системное приглашение, предоставляющее инструкции по обработке других входных данных для инструмента.

Чтобы описать, как работает код в файле, попробуйте следующее:

cat mycode.py | llm -s " Explain this code " 

Помощь

Для получения помощи запустите:

 llm --help

Вы также можете использовать:

 python -m llm --help