Compagnon IA v1
Un seul petit binaire doté de toutes les fonctionnalités dont vous avez besoin !
AI Companion est un projet qui vise à fournir un moyen rapide, simple, léger et pratique de créer des chatbots IA sur votre ordinateur local, il ne nécessite aucune API externe, installation de bibliothèques, vous installez simplement le fichier binaire correspondant à votre système d'exploitation. système et appareil, téléchargez le modèle sélectionné et vous pourrez commencer à utiliser l'outil comme : WebUI pour discuter avec LLM, WebUI pour jouer un rôle avec un personnage IA, ou l'utiliser comme API pour vos autres projets nécessitant un chatbot IA.
Le projet comprend de nombreuses fonctionnalités uniques, telles que la mémoire à court terme, la prise en charge de CUDA, OpenCL et Metal, la mémoire à long terme, le réglage des dialogues, la reconnaissance du temps, l'apprentissage par chat, la possibilité de travailler comme une API REST, la lecture de cartes de caractères, la facilité d'utilisation. utiliser WebUI vous permettant de modifier des données, de modifier la configuration, d'envoyer, de modifier et de supprimer des messages.
Installation
Téléchargez le binaire approprié pour votre système d'exploitation et votre appareil à partir d'ici (par exemple ai-companion-windows-cuda.exe ), puis installez le modèle llm avec l'extension .gguf (par exemple celui-ci), lancez ensuite le fichier binaire ai-companion, ouvrez votre navigateur Web à l'adresse http://localhost:3000 et vous verrez AI Companion WebUI, cliquez ensuite sur l' icône d'engrenage sur le site Web, accédez à config et remplacez le chemin d'accès à votre grand modèle linguistique (LLM) par le chemin d'accès à votre .gguf sur votre disque, après l'avoir fait, vous pouvez commencer à discuter avec votre compagnon !
Caractéristiques
- fonctionne localement - ne nécessite pas de clés API pour d'autres services, ce qui le rend totalement gratuit (enfin, à part les coûts d'électricité - votre ordinateur doit fonctionner d'une manière ou d'une autre), ne nécessite pas non plus Internet pour fonctionner
- confidentialité - toutes les conversations sont conservées localement dans la base de données SQLite, ce qui signifie que vos conversations ou les caractéristiques de votre IA restent uniquement sur votre ordinateur
- API - vous pouvez l'utiliser comme backend pour vos autres projets nécessitant des LLM, des chatbots IA personnalisés ou des personnages IA personnalisés
- vitesse - écrit dans Rust montre une bonne efficacité en ce qui concerne le CPU, le GPU (rien ne ralentit votre génération) et la RAM (vous n'avez pas besoin d'utiliser des modèles d'IA plus faibles)
- facilité d'utilisation - tout peut être modifié dans l'interface utilisateur Web, et tout est compilé dans un seul fichier binaire qui peut être lancé sur votre machine (pas besoin de jouer avec des centaines de fichiers déroutants, et pas besoin de se battre avec une mauvaise bibliothèque/interprète /versions du framework)
- personnalisation - vous pouvez modifier le nom, la personnalité, l'apparence et le premier message envoyé de l'IA. La mémoire à court et à long terme de l'IA peut également être modifiée.
- mémoire à court terme - l'intelligence artificielle se souvient des messages récemment reçus/envoyés
- mémoire à long terme - L'IA peut mémoriser des conversations, même des milliers d'invites plus tard, en utilisant la mémoire à long terme - en associant des éléments à différents mots, expressions, phrases ou même dates
- apprentissage en temps réel : lorsqu'elle discute avec l'IA, elle est capable de créer des "souvenirs" ainsi que d'en apprendre davantage sur les personnes avec lesquelles elle discute (quelle est leur profession, ce qu'elles aiment manger, boire, etc.)
- nourrir l'IA avec des données personnalisées - en utilisant l'API, il est possible de sauvegarder dans la mémoire à long terme de l'IA, par exemple des fragments de documents, des articles, des paroles de chansons, des poèmes
- jeu de rôle - le chatbot ai peut (s'il est activé) effectuer des actions entre les astérisques (*), par exemple se rapprocher , saluer
- vous pouvez charger des fichiers de personnages au format .json ou .png (cartes de personnages). Par exemple, vous pouvez créer le vôtre à l'aide de cet outil
- vous pouvez utiliser {{char}} et {{user}} dans le personnage du compagnon, l'exemple de dialogue, le premier message et le personnage de l'utilisateur (si vous changez le nom d'utilisateur ou le nom du compagnon, vous n'avez pas besoin de les modifier, ils changeront automatiquement)
- heure - AI Chatbot peut obtenir des informations sur l'heure actuelle à partir de l'ordinateur et sa mémoire à long terme peut se souvenir des jours où certaines conversations ont eu lieu
Modèles d'IA pris en charge
petite liste de modèles d'IA testés et fonctionnels :
- Mistral7B
- Zephyr 7B bêta
- Lama 3 8B Instruire
Et bien d'autres modèles LLM au format .gguf
Documentation API
La documentation de l'API peut être trouvée ici
Projets basés sur ai-companion Backend/API/Bibliothèque
- assistant local - assistant virtuel ai propulsé par LLM
- Matrix Companion Bot - Chatbot basé sur l'IA fonctionnant sur le protocole Matrix
Utiliser comme bibliothèque Python (Obsolète)
Si vous recherchez une bibliothèque Python qui vous permet d'utiliser le backend ai-companion dans vos projets, elle est disponible ici ai-companion-py
Compilation à partir du code source :
Pour créer un fichier exécutable dont vous avez besoin : Node.js et npm, Rust et cargo
Pour que le logiciel fonctionne avec CUDA, OpenCL et Metal, vous devez également suivre des étapes similaires à celles de cette documentation.
faites un clone git du dépôt :
git clone https://github.com/Hukasx0/ai-companion
aller dans le dossier
installer les modules de nœuds
compiler tout en un seul binaire
ou
compilez tout en un seul binaire avec le support CUDA
ou
compilez tout en un seul binaire avec le support OpenCL
npm run build-full-opencl
ou
compilez tout en un seul binaire avec le support Metal
(après compilation, le binaire doit être dans ai-companion/backend/target/release)
puis procédez de la même manière que pour l'installation