llm

LLM

Un utilitaire CLI et une bibliothèque Python pour interagir avec les grands modèles de langage, à la fois via des API distantes et des modèles qui peuvent être installés et exécutés sur votre propre machine.

Exécutez des invites à partir de la ligne de commande, stockez les résultats dans SQLite, générez des intégrations et bien plus encore.

Consultez le répertoire des plugins LLM pour les plugins qui donnent accès aux modèles distants et locaux.

Documentation complète : llm.datasette.io

Contexte de ce projet :

• llm, ttok et strip-tags : outils CLI pour travailler avec ChatGPT et d'autres LLM
• L'outil LLM CLI prend désormais en charge les modèles de langage auto-hébergés via des plugins
• Accéder à Llama 2 depuis la ligne de commande avec le plugin llm-replicate
• Exécutez Llama 2 sur votre propre Mac en utilisant LLM et Homebrew
• Rattraper son retard sur le monde étrange des LLM
• LLM fournit désormais des outils pour travailler avec des intégrations
• Créez un moteur de recherche d'images avec llm-clip, discutez avec des modèles avec llm chat
• De nombreuses options pour exécuter des modèles Mistral dans votre terminal à l'aide de LLM

Installation

Installez cet outil en utilisant pip :

pip install llm

Ou en utilisant Homebrew :

brew install llm

Instructions d'installation détaillées.

Commencer

Si vous disposez d'une clé API OpenAI, vous pouvez commencer à utiliser les modèles OpenAI immédiatement.

Comme alternative à OpenAI, vous pouvez installer des plugins pour accéder aux modèles d'autres fournisseurs, y compris des modèles qui peuvent être installés et exécutés sur votre propre appareil.

Enregistrez votre clé API OpenAI comme ceci :

llm keys set openai

Cela vous demandera votre clé comme ceci :

 Enter key: <paste here>

Maintenant que vous avez enregistré une clé, vous pouvez exécuter une invite comme celle-ci :

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

Lisez les instructions d'utilisation pour en savoir plus.

Installer un modèle qui s'exécute sur votre propre machine

Les plugins LLM peuvent ajouter la prise en charge de modèles alternatifs, y compris des modèles qui s'exécutent sur votre propre machine.

Pour télécharger et exécuter Mistral 7B Instruct localement, vous pouvez installer le plugin llm-gpt4all :

llm install llm-gpt4all

Exécutez ensuite cette commande pour voir quels modèles elle rend disponibles :

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

Chaque fichier de modèle sera téléchargé une fois lors de votre première utilisation. Essayez Mistral comme ceci :

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

Vous pouvez également démarrer une session de discussion avec le modèle à l'aide de la commande llm chat :

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

Utilisation d'une invite système

Vous pouvez utiliser l'option -s/--system pour définir une invite système, fournissant des instructions pour traiter d'autres entrées dans l'outil.

Pour décrire le fonctionnement du code d'un fichier, essayez ceci :

cat mycode.py | llm -s " Explain this code " 

Aide

Pour obtenir de l'aide, exécutez :

 llm --help

Vous pouvez également utiliser :

 python -m llm --help