Un outil CLI pour interagir avec les LLM. Fournissez vos clés API dans ce format : <completer>_API_KEY>
Les finisseurs pris en charge sont :
ANTHROPIC
MISTRAL
OPENAI
PERPLEXITY
Actuellement, vous pouvez construire à partir des sources et utiliser le binaire généré. Clonez le dépôt et exécutez la commande suivante :
make
Cela créera un binaire nommé llm
dans le répertoire bin
.
Toutes les interactions sont stockées localement sur votre système de fichiers. Cette configuration permet d'envoyer plusieurs invites aux LLM, le contexte étant conservé dans différentes conversations.
L'historique de vos conversations peut être partagé entre tous les LLM pris en charge. Cela vous permet de tirer parti des atouts de chaque modèle, en combinant leurs capacités pour créer une expérience conversationnelle puissante.
Préfixer n'importe quelle commande avec llm fournit une explication claire et concise de cette commande, ainsi que des exemples démontrant son utilisation.
Vous pouvez avoir plusieurs sessions, chacune avec son propre contexte et son propre historique. Cela vous permet de basculer entre différentes conversations et de maintenir une expérience conversationnelle cohérente.
Pour utiliser la CLI, vous devez fournir vos clés API en tant que variables d'environnement. Vous pouvez définir ces variables dans votre fichier de configuration shell (par exemple, .zshrc
) ou directement dans le terminal.
Une fois que vous avez défini les variables d'environnement, vous pouvez utiliser la commande suivante (à partir de la racine du dépôt) pour inviter le LLM :
bin/llm < llm-name > [flags] < prompt >
Pour discuter, utilisez simplement la sous-commande chat
:
bin/llm < llm-name > chat
Et bien sûr, ajoutez /path/to/repo/bin
à votre $PATH
pour utiliser la CLI depuis n'importe où.
Créez une variable d'environnement DEFAULT_COMPLETER
avec le nom du complément que vous souhaitez utiliser. Ils sont:
claude
mistral
gpt
Ensuite, vous pouvez préfixer n'importe quelle commande que vous souhaitez comprendre avec llm
pour comprendre son fonctionnement avec des exemples.