llm

LLM

Um utilitário CLI e uma biblioteca Python para interagir com modelos de linguagem grande, tanto por meio de APIs remotas quanto de modelos que podem ser instalados e executados em sua própria máquina.

Execute prompts na linha de comando, armazene os resultados no SQLite, gere embeddings e muito mais.

Consulte o diretório de plug-ins LLM para plug-ins que fornecem acesso a modelos remotos e locais.

Documentação completa: llm.datasette.io

Antecedentes deste projeto:

• llm, ttok e strip-tags — ferramentas CLI para trabalhar com ChatGPT e outros LLMs
• A ferramenta LLM CLI agora oferece suporte a modelos de linguagem auto-hospedados por meio de plug-ins
• Acessando o Llama 2 pela linha de comando com o plugin llm-replicate
• Execute o Llama 2 em seu próprio Mac usando LLM e Homebrew
• Acompanhando o estranho mundo dos LLMs
• LLM agora fornece ferramentas para trabalhar com embeddings
• Crie um mecanismo de busca de imagens com llm-clip, converse com modelos com llm chat
• Muitas opções para executar modelos Mistral em seu terminal usando LLM

Instalação

Instale esta ferramenta usando pip :

pip install llm

Ou usando o Homebrew:

brew install llm

Instruções detalhadas de instalação.

Começando

Se você tiver uma chave de API OpenAI, poderá começar a usar os modelos OpenAI imediatamente.

Como alternativa ao OpenAI, você pode instalar plug-ins para acessar modelos de outros fornecedores, incluindo modelos que podem ser instalados e executados em seu próprio dispositivo.

Salve sua chave de API OpenAI assim:

llm keys set openai

Isso solicitará sua chave da seguinte forma:

 Enter key: <paste here>

Agora que você salvou uma chave, você pode executar um prompt como este:

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

Leia as instruções de uso para mais informações.

Instalando um modelo que roda em sua própria máquina

Os plug-ins LLM podem adicionar suporte para modelos alternativos, incluindo modelos executados em sua própria máquina.

Para baixar e executar o Mistral 7B Instruct localmente, você pode instalar o plugin llm-gpt4all:

llm install llm-gpt4all

Em seguida, execute este comando para ver quais modelos ele disponibiliza:

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

Cada arquivo de modelo será baixado uma vez na primeira vez que você usá-lo. Experimente o Mistral assim:

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

Você também pode iniciar uma sessão de chat com a modelo usando o comando llm chat :

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

Usando um prompt do sistema

Você pode usar a opção -s/--system para definir um prompt do sistema, fornecendo instruções para processar outras entradas para a ferramenta.

Para descrever como funciona o código em um arquivo, tente isto:

cat mycode.py | llm -s " Explain this code " 

Ajuda

Para obter ajuda, execute:

 llm --help

Você também pode usar:

 python -m llm --help