InfiniGPT é um chatbot OpenAI para o protocolo de chat Matrix. Ele tem um ótimo prompt que permite interpretar quase tudo que você possa imaginar. Você pode definir qualquer personalidade padrão que desejar. Ele pode ser alterado a qualquer momento e cada usuário tem seu próprio histórico de bate-papo separado com a configuração de personalidade escolhida. Os usuários podem interagir com os históricos de bate-papo uns dos outros para colaboração, se desejarem, mas caso contrário, as conversas são separadas, por canal, por usuário.
Também disponível para IRC em infinigpt-irc
Agora com suporte Ollama e troca de modelo.
pip3 install matrix-nio openai
Obtenha uma chave de API OpenAI, defina-a como uma variável de ambiente como OPENAI_API_KEY. Há um local para definir a variável de ambiente no código se você quiser usá-la.
Adicione os modelos Ollama desejados à lista de modelos em config.json, se estiver usando. Primeiro você precisará instalar e se familiarizar com o Ollama, certificar-se de que pode executar LLMs locais, etc. Se não puder, não se preocupe, você pode simplesmente omitir esses modelos da configuração.
Você pode instalá-lo e atualizá-lo com este comando:
curl https://ollama.ai/install.sh | sh
Depois de tudo configurado, você precisará baixar os modelos que deseja usar. Você pode brincar com os disponíveis e ver o que funciona melhor para você. Adicione-os ao arquivo config.json. Se você quiser usar os que incluí, basta executar ollama pull modelname para cada um.
Configure uma conta Matrix para seu bot. Você precisará do servidor, nome de usuário e senha.
Adicione-os ao arquivo config.json.
python3 infinigpt.py
.ai mensagem ou botname: mensagem Uso básico. A personalidade é predefinida pelo operador do bot.
Mensagem do usuário .x Isso permite que você converse com o histórico de bate-papo de outro usuário. user é o nome de exibição do usuário cujo histórico você deseja usar
.persona personalidade Muda a personalidade. Pode ser um personagem, tipo de personalidade, objeto, ideia. Não use um prompt personalizado aqui.
.custom prompt Permite o uso de um prompt de sistema personalizado em vez do integrado
.reset Redefinir para personalidade predefinida
.stock Remova a personalidade e redefina as configurações padrão do GPT
.model Lista modelos de linguagem grandes disponíveis
.model nome do modelo Alterar modelo
.model reset Redefinir modelo
.help Mostra o menu de ajuda integrado