Compañero de IA v1
¡Un pequeño binario que tiene todas las características que necesitas!
AI Companion es un proyecto que tiene como objetivo proporcionar una forma rápida, simple, liviana y conveniente de crear chatbots de IA en su computadora local, no requiere ninguna API externa, instalación de bibliotecas, simplemente instale el archivo binario correspondiente a su sistema operativo. sistema y dispositivo, descargue el modelo seleccionado y podrá comenzar a usar la herramienta como: WebUI para chatear con LLM, WebUI para juegos de rol con un personaje de IA o usarla como API para sus otros proyectos que requieran un chatbot de IA.
El proyecto incluye muchas características únicas, como memoria a corto plazo, compatibilidad con CUDA, OpenCL y Metal, memoria a largo plazo, ajuste de diálogo, reconocimiento de tiempo, aprendizaje mediante chat, capacidad de trabajar como API REST, lectura de tarjetas de personajes, fácil WebUI fácil de usar que le permite editar datos, editar la configuración, enviar, editar y eliminar mensajes.
Instalación
Descargue el binario apropiado para su sistema operativo y dispositivo desde aquí (por ejemplo, ai-companion-windows-cuda.exe ), y luego instale el modelo llm con la extensión .gguf (por ejemplo, este), luego inicie el archivo binario ai-companion, abra su navegador web en http://localhost:3000 y verá AI Companion WebUI, luego haga clic en el ícono de ajustes en el sitio web, vaya a config y reemplace Ruta a su modelo de lenguaje grande (LLM) con ruta a tu modelo .gguf en tu disco, después de hacerlo, ¡puedes comenzar a chatear con tu compañero!
Características
- funciona localmente: no requiere claves API para otros servicios, lo que lo hace de uso completamente gratuito (bueno, aparte de los costos de electricidad, su computadora debe funcionar de alguna manera), tampoco requiere Internet para funcionar
- privacidad: todas las conversaciones se guardan localmente en la base de datos SQLite, lo que significa que sus conversaciones o las características de su IA permanecen solo en su computadora
- API: puede utilizarla como backend para sus otros proyectos que requieran LLM, chatbots de IA personalizados o personajes de IA personalizados.
- velocidad: escrito en Rust muestra una buena eficiencia en lo que respecta a CPU, GPU (nada ralentiza tu generación) y RAM (no necesitas usar modelos de IA más débiles)
- Facilidad de uso: todo se puede cambiar en la interfaz de usuario web y todo se compila en un único archivo binario que se puede iniciar en su máquina (no es necesario jugar con cientos de archivos confusos ni luchar con una biblioteca/intérprete incorrecto). /versiones de marco)
- Personalización: puedes cambiar el nombre, la personalidad, la apariencia y el primer mensaje enviado de la IA. También se puede modificar la memoria de la IA a corto y largo plazo.
- Memoria a corto plazo: la inteligencia artificial recuerda los mensajes recibidos/enviados recientemente.
- Memoria a largo plazo: la IA puede recordar conversaciones incluso miles de indicaciones más tarde usando la memoria a largo plazo, asociando cosas con diferentes palabras, frases, oraciones o incluso fechas.
- Aprendizaje en tiempo real: al conversar con la IA, es capaz de crear "recuerdos" y aprender sobre las personas con las que conversa (cuál es su profesión, qué les gusta comer, beber, etc.)
- Alimentar a la IA con datos personalizados: utilizando la API, es posible guardar en la memoria a largo plazo de la IA, por ejemplo, fragmentos de documentos, artículos, letras de canciones, poemas.
- Juego de rol: AI Chatbot puede (si está habilitado) realizar acciones entre asteriscos (*), por ejemplo , acercarse , saludar.
- puedes cargar archivos de personajes en formato .json o .png (tarjetas de personajes). Por ejemplo, puedes crear el tuyo propio usando esta herramienta.
- puedes usar {{char}} y {{user}} en la persona del acompañante, diálogo de ejemplo, primer mensaje y persona del usuario (si cambias el nombre de usuario o el nombre del acompañante, no necesitas cambiarlos, cambiará automáticamente)
- tiempo: AI Chatbot puede obtener información sobre la hora actual de la computadora y su memoria a largo plazo puede recordar qué días tuvieron lugar ciertas conversaciones
Modelos de IA compatibles
Pequeña lista de modelos de IA probados y en funcionamiento:
- Mistral 7B
- Céfiro 7B Beta
- Llama 3 8B Instrucción
Y muchos otros modelos de LLM en formato .gguf
Documentación API
La documentación API se puede encontrar aquí
Proyectos basados en ai-companion Backend/API/Biblioteca
- asistente local - asistente virtual ia impulsado por llm
- Bot complementario Matrix: bot de chat basado en IA que se ejecuta en el protocolo Matrix
Usar como biblioteca de Python (Obsoleto)
Si está buscando una biblioteca de Python que le permita utilizar el backend de ai-companion en sus proyectos, está disponible aquí ai-companion-py
Compilación del código fuente:
Para crear un archivo ejecutable necesita: Node.js y npm, Rust y cargo
Para que el software funcione con CUDA, OpenCL y Metal también debes seguir pasos similares a los de esta documentación.
haz un clon de git del repositorio:
git clone https://github.com/Hukasx0/ai-companion
ir a la carpeta
instalar módulos de nodo
compilar todo en un binario
o
compila todo en un binario con soporte CUDA
o
compila todo en un binario con soporte OpenCL
npm run build-full-opencl
o
compila todo en un binario con soporte Metal
(después de la compilación, el binario debe estar en ai-companion/backend/target/release)
y luego proceder igual que para la instalación
