ai companion

Companheiro de IA v1

Um único pequeno binário que possui todos os recursos que você precisa!

AI Companion é um projeto que visa fornecer uma maneira rápida, simples, leve e conveniente de criar chatbots AI em seu computador local, não requer nenhuma API externa, instalação de nenhuma biblioteca, basta instalar o arquivo binário correspondente ao seu funcionamento sistema e dispositivo, baixe o modelo selecionado e você pode começar a usar a ferramenta como: WebUI para conversar com LLM, WebUI para interpretar com um personagem de IA ou usar como uma API para seus outros projetos que requerem um chatbot de IA.

O projeto inclui muitos recursos exclusivos, como memória de curto prazo, suporte a CUDA, OpenCL e Metal, memória de longo prazo, ajuste de diálogo, reconhecimento de tempo, aprendizado por bate-papo, capacidade de trabalhar como API REST, leitura de cartões de caracteres, facilidade de uso. WebUI para usar, permitindo editar dados, editar configurações, enviar, editar e excluir mensagens.

Instalação

Baixe o binário apropriado para o seu sistema operacional e dispositivo aqui (por exemplo ai-companion-windows-cuda.exe ) e, em seguida, instale o modelo llm com extensão .gguf (por exemplo este), em seguida inicie o arquivo binário ai-companion, abra seu navegador em http://localhost:3000 e você verá AI Companion WebUI, em seguida clique no ícone de engrenagem no site, vá para config e substitua Path to your Large Language Model (LLM) pelo caminho para seu modelo .gguf no seu drive, após fazer isso você pode começar a conversar com seu companheiro!

Características

• funciona localmente - não requer chaves de API para outros serviços, o que torna seu uso totalmente gratuito (bem, além dos custos de eletricidade - seu computador deve funcionar de alguma forma), também não requer Internet para funcionar
• privacidade - todas as conversas são mantidas localmente no banco de dados SQLite, o que significa que suas conversas ou as características da sua IA ficam apenas no seu computador
• API - você pode usá-lo como back-end para seus outros projetos que requerem LLMs, chatbots de IA personalizados ou personagens de IA personalizados
• velocidade - escrito em Rust mostra boa eficiência quando se trata de CPU, GPU (nada retarda sua geração) e RAM (você não precisa usar modelos de IA mais fracos)
• facilidade de uso - tudo pode ser alterado na interface do usuário web e tudo é compilado em um único arquivo binário que pode ser iniciado em sua máquina (não há necessidade de brincar com centenas de arquivos confusos e não há necessidade de lutar com biblioteca/interpretador errado /versões da estrutura)
• personalização – você pode alterar o nome, personalidade, aparência e a primeira mensagem enviada da IA. Também a memória de curto e longo prazo da IA ​​pode ser modificada
• memória de curto prazo - a inteligência artificial lembra mensagens recebidas/enviadas recentemente
• memória de longo prazo - a IA pode lembrar conversas até mesmo milhares de prompts posteriormente usando a memória de longo prazo - associando coisas a diferentes palavras, frases, sentenças ou até mesmo datas
• aprendizagem em tempo real - ao conversar com a IA, é capaz de criar “memórias” e também aprender sobre as pessoas com quem conversa (qual é a sua profissão, o que gostam de comer, beber e assim por diante)
• alimentando a IA com dados personalizados - usando a API, é possível salvar na memória de longo prazo da IA, por exemplo, fragmentos de documentos, artigos, letras de músicas, poemas
• roleplay - o chatbot ai pode (se habilitado) realizar ações entre asteriscos (*), por exemplo, se aproxima , acena olá
• você pode carregar arquivos de caracteres no formato .json ou .png (cartões de caracteres). Por exemplo, você pode criar o seu próprio usando esta ferramenta
• você pode usar {{char}} e {{user}} na persona do acompanhante, exemplo de diálogo, primeira mensagem e persona do usuário (se você alterar o nome de usuário ou o nome do acompanhante, não será necessário alterá-los, ele mudará automaticamente)
• horário - o AI Chatbot pode obter informações sobre a hora atual do computador, e sua memória de longo prazo pode lembrar em que dias ocorreram determinadas conversas

Modelos de IA suportados

pequena lista de modelos de IA testados e funcionais:

• Mistral 7B
• Zéfiro 7B Beta
• Lhama 3 8B Instruir

E muitos outros modelos LLM no formato .gguf

Documentação da API

A documentação da API pode ser encontrada aqui

Projetos baseados em backend/API/biblioteca ai-companion

• assistente local - assistente virtual de IA com tecnologia llm
• Matrix Companion Bot - bot de bate-papo baseado em IA rodando no protocolo Matrix

Use como biblioteca python (Descontinuado)

Se você está procurando uma biblioteca Python que permita usar o backend ai-companion em seus projetos, ela está disponível aqui ai-companion-py

Compilação do código-fonte:

Para construir um arquivo executável você precisa de: Node.js e npm, Rust e cargo

Para fazer o software funcionar com CUDA, OpenCL e Metal você também deve seguir passos semelhantes aos desta documentação

faça um clone git do repositório:

 git clone https://github.com/Hukasx0/ai-companion

vá para a pasta

 cd ai-companion/

instalar módulos de nó

 npm i

compilar tudo em um binário

 npm run build-full

ou

compilar tudo em um binário com suporte CUDA

 npm run build-full-cuda

ou

compilar tudo em um binário com suporte OpenCL

 npm run build-full-opencl

ou

compilar tudo em um binário com suporte Metal

 npm run build-full-metal

(após a compilação o binário deve estar em ai-companion/backend/target/release)

e proceda da mesma forma que para a instalação