Uma ferramenta CLI para interagir com LLMs. Forneça suas chaves de API neste formato: <completer>_API_KEY>
Os completadores suportados são:
ANTHROPIC
MISTRAL
OPENAI
PERPLEXITY
Atualmente, você pode compilar a partir do código-fonte e usar o binário gerado. Clone o repositório e execute o seguinte comando:
make
Isto criará um binário chamado llm
no diretório bin
.
Todas as interações são armazenadas localmente no seu sistema de arquivos. Essa configuração permite que vários prompts sejam enviados aos LLMs, com o contexto sendo mantido em diferentes conversas.
Seu histórico de conversas pode ser compartilhado entre todos os LLMs suportados. Isso permite aproveitar os pontos fortes de cada modelo, combinando suas capacidades para criar uma experiência de conversação poderosa.
Prefixar qualquer comando com llm fornece uma explicação clara e concisa desse comando, juntamente com exemplos que demonstram seu uso.
Você pode ter várias sessões, cada uma com seu próprio contexto e histórico. Isso permite alternar entre diferentes conversas e manter uma experiência de conversação consistente.
Para usar a CLI, você precisa fornecer suas chaves de API como variáveis de ambiente. Você pode definir essas variáveis em seu arquivo de configuração do shell (por exemplo, .zshrc
) ou diretamente no terminal.
Depois de definir as variáveis de ambiente, você pode usar o seguinte comando (da raiz do repositório) para solicitar o LLM:
bin/llm < llm-name > [flags] < prompt >
Para conversar, basta usar o subcomando chat
:
bin/llm < llm-name > chat
E, claro, adicione /path/to/repo/bin
ao seu $PATH
para usar a CLI de qualquer lugar.
Crie uma variável de ambiente DEFAULT_COMPLETER
com o nome do completador que deseja usar. Eles são:
claude
mistral
gpt
Em seguida, você pode prefixar qualquer comando que queira entender com llm
para entender como ele funciona com exemplos.