llm

LLM

Una utilidad CLI y una biblioteca Python para interactuar con modelos de lenguajes grandes, tanto a través de API remotas como de modelos que se pueden instalar y ejecutar en su propia máquina.

Ejecute solicitudes desde la línea de comandos, almacene los resultados en SQLite, genere incrustaciones y más.

Consulte el directorio de complementos de LLM para conocer los complementos que brindan acceso a modelos locales y remotos.

Documentación completa: llm.datasette.io

Antecedentes de este proyecto:

• llm, ttok y strip-tags: herramientas CLI para trabajar con ChatGPT y otros LLM
• La herramienta LLM CLI ahora admite modelos de lenguaje autohospedados a través de complementos
• Accediendo a Llama 2 desde la línea de comandos con el complemento llm-replicate
• Ejecute Llama 2 en su propia Mac usando LLM y Homebrew
• Ponerse al día con el extraño mundo de los LLM
• LLM ahora proporciona herramientas para trabajar con incrustaciones
• Cree un motor de búsqueda de imágenes con llm-clip, chatee con modelos con llm chat
• Muchas opciones para ejecutar modelos Mistral en su terminal usando LLM

Instalación

Instale esta herramienta usando pip :

pip install llm

O usando Homebrew:

brew install llm

Instrucciones de instalación detalladas.

Empezando

Si tiene una clave API de OpenAI, puede comenzar a utilizar los modelos OpenAI de inmediato.

Como alternativa a OpenAI, puede instalar complementos para acceder a modelos de otros proveedores, incluidos modelos que pueden instalarse y ejecutarse en su propio dispositivo.

Guarde su clave API de OpenAI de esta manera:

llm keys set openai

Esto le pedirá su clave así:

 Enter key: <paste here>

Ahora que ha guardado una clave, puede ejecutar un mensaje como este:

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

Lea las instrucciones de uso para obtener más información.

Instalar un modelo que se ejecuta en su propia máquina

Los complementos de LLM pueden agregar soporte para modelos alternativos, incluidos los modelos que se ejecutan en su propia máquina.

Para descargar y ejecutar Mistral 7B Instruct localmente, puede instalar el complemento llm-gpt4all:

llm install llm-gpt4all

Luego ejecute este comando para ver qué modelos pone a disposición:

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

Cada archivo de modelo se descargará una vez la primera vez que lo utilice. Pruebe Mistral así:

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

También puedes iniciar una sesión de chat con el modelo usando el comando llm chat :

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

Usando un indicador del sistema

Puede utilizar la opción -s/--system para configurar un mensaje del sistema, proporcionando instrucciones para procesar otras entradas a la herramienta.

Para describir cómo funciona el código de un archivo, intente esto:

cat mycode.py | llm -s " Explain this code " 

Ayuda

Para obtener ayuda, ejecute:

 llm --help

También puedes utilizar:

 python -m llm --help