AI Runner est une interface qui vous permet d'exécuter des modèles de langage étendus (LLM) open source et des générateurs d'images AI (Stable Diffusion) sur votre propre matériel.
Il est conçu pour être facile à utiliser, avec une interface simple et intuitive qui vous permet d'exécuter des modèles d'IA sans avoir besoin d'un serveur Web ou d'un service cloud.
Il a été optimisé pour la rapidité et l'efficacité, vous permettant de générer des images et d'avoir des conversations avec des chatbots en temps réel.
AI Runner est une interface d'IA qui vous permet d'exécuter des modèles de langage étendus (LLM) et des générateurs d'images d'IA (Stable Diffusion) open source sur votre propre matériel.
Fonctionnalité | Description |
---|---|
LLM et communication | |
Conversations de chatbot vocales | Discutez avec un chatbot en utilisant votre voix |
Synthèse vocale | Convertir du texte en audio parlé |
Parole en texte | Convertir l'audio parlé en texte |
Chatbots personnalisables avec LLM | Générer du texte à l'aide de grands modèles de langage |
RAG sur les documents et sites Web locaux | Interagissez avec vos documents locaux à l'aide d'un LLM |
? Génération d'images | |
Diffusion Stable (toutes les versions) | Générer des images à l'aide de la diffusion stable |
Outils de dessin | Transformez les croquis en art |
Texte en image | Générer des images à partir de descriptions textuelles |
Image à image | Générer des images basées sur les images d'entrée |
?️ Manipulation d'images | |
Inpaint et Outpaint | Modifier des parties d'une image tout en conservant le contexte |
Réseau de contrôle | Contrôler la génération d’images avec une entrée supplémentaire |
LoRA | Affiner efficacement les modèles avec LoRA |
Incorporations textuelles | Utiliser des intégrations textuelles pour le contrôle de la génération d'images |
Filtres d'images | Flou, grain de film, pixel art et bien plus encore |
? Utilitaire | |
Exécutez hors ligne, localement | Exécutez sur votre propre matériel sans Internet |
Génération rapide | Générez des images en environ 2 secondes (RTX 2080s) |
Exécuter plusieurs modèles à la fois | Utiliser plusieurs modèles simultanément |
Mode sombre | Expérience visuelle confortable dans des environnements faiblement éclairés |
Toile à défilement infini | Faites défiler en toute transparence les images générées |
Basculement du filtre NSFW | Aide à contrôler la visibilité du contenu NSFW |
Basculement des garde-corps NSFW | Aidez à prévenir la génération de contenu nuisible LLM |
Entièrement personnalisable | Ajustez facilement tous les paramètres |
Temps de chargement rapide, interface réactive | Profitez d'une expérience utilisateur fluide et réactive |
Python pur | Aucune dépendance à l'égard d'un serveur Web, implémentation purement python |
Il existe plusieurs façons de démarrer avec AI Runner, par exemple en package, à partir des sources et en tant que bibliothèque.
Des instructions détaillées d’emballage et d’installation peuvent être trouvées dans le wiki.
Installation
pip install airunner
En cours d'exécution
airunner
AI Runner installe tous les modèles requis pour exécuter un chatbot avec des capacités de synthèse vocale et de synthèse vocale, ainsi que les modèles de base requis pour une diffusion stable. Cependant, vous devez fournir vos propres modèles de générateurs d’art.
Vous pouvez télécharger des modèles sur Huggingface.co ou civitai.com.
Les modèles de diffusion stable pris en charge sont :
Les modèles doivent être placés dans leurs répertoires respectifs dans le répertoire airunner
.
~/.local/share/airunner
├── art
│ ├── models
│ │ ├── SD 1.5
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ ├── SDXL 1.0
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ └── SDXL Turbo
│ │ ├── lora
│ │ └── embeddings
Exécutez tous les tests unitaires
python -m unittest discover -s src/airunner/tests
Exécuter un seul test unitaire python -m unittest src/airunner/tests/<file_name>
Exemple
python -m unittest src/airunner/tests/test_prompt_weight_convert.py
Bien qu'AI Runner v3.0 soit construit avec les bibliothèques Huggingface, nous avons pris soin de supprimer l'application de toute fonctionnalité de télémétrie ou de suivi.
Seul l'assistant de configuration a besoin d'un accès à Internet pour télécharger les modèles requis.
Pour plus d'informations, consultez les bibliothèques Darklock et Facehuggershield.
L'accès en écriture à la bibliothèque Transformers a été désactivé, l'empêchant de créer un répertoire de cache Huggingface au moment de l'exécution.
L'application elle-même peut toujours accéder au disque en lecture et en écriture, mais nous avons limité les lectures et les écritures au répertoire airunner
fourni par l'utilisateur (il se trouve par défaut dans ~/.local/share/airunner
).
Toutes les autres tentatives d'accès au disque sont bloquées et enregistrées pour votre examen.
Pour plus d'informations, consultez src/security/restrict_os_access.py
.
Huggingface Hub contient des fonctionnalités de télémétrie et de suivi qui ont été complètement désactivées dans AI Runner.
Les mesures de sécurité prises pour cette bibliothèque sont les suivantes
Voir Facehuggershield pour plus d’informations.