KoboldAI Client
Looking for our latest KoboldAI product?
KoboldAI doit son nom au logiciel KoboldAI. Actuellement, notre nouveau programme le plus populaire est KoboldCpp.
Si vous lisez ce message, vous êtes sur la page du logiciel KoboldAI original.
Vous préférez utiliser KoboldCpp avec les modèles GGUF et les dernières fonctionnalités API ? Vous pouvez visiter https://koboldai.org/cpp
Besoin d'assistance pour les modèles plus récents tels que les modèles basés sur Llama utilisant les plates-formes Huggingface / Exllama (safetensors/pytorch) ? Découvrez la version de développement de KoboldAI, KoboldAI United, sur https://koboldai.org/united
Il s'agit d'une interface basée sur un navigateur pour l'écriture assistée par l'IA avec plusieurs modèles d'IA locaux et distants. Il offre la gamme standard d'outils, notamment la mémoire, la note de l'auteur, les informations sur le monde, la sauvegarde et le chargement, les paramètres d'IA réglables, les options de formatage et la possibilité d'importer des aventures AI Dungeon existantes. Vous pouvez également activer le mode Aventure et jouer à un jeu comme AI Dungeon Unleashed.
Les histoires peuvent être jouées comme un roman, un jeu d'aventure textuel ou utilisées comme chatbot avec une bascule facile pour basculer entre les multiples styles de jeu. Cela fait de KoboldAI à la fois un assistant d’écriture, un jeu et une plateforme pour bien plus encore. La façon dont vous jouez et la qualité de l'IA dépendent du modèle ou du service que vous décidez d'utiliser. Peu importe si vous souhaitez utiliser la puissance gratuite et rapide de Google Colab, votre propre carte graphique haut de gamme, un service en ligne pour lequel vous disposez d'une clé API (comme OpenAI ou Inferkit) ou si vous préférez simplement l'exécuter plus lentement sur votre processeur. sera en mesure de trouver un moyen d'utiliser KoboldAI qui fonctionne pour vous.
Par défaut, KoboldAI fonctionnera dans un mode générique optimisé pour l'écriture, mais avec le bon modèle, vous pouvez jouer à cela comme AI Dungeon sans aucun problème. Vous pouvez l'activer dans les paramètres et apporter votre propre invite, essayer de générer une invite aléatoire ou télécharger l'une des invites disponibles sur /aids/Prompts.
Le gameplay sera légèrement différent du gameplay d'AI Dungeon car nous avons adopté le fork Type of the Unleashed, vous donnant un contrôle total sur tous les personnages car nous n'adaptons pas automatiquement vos phrases en coulisses. Cela signifie que vous pouvez contrôler de manière plus fiable des personnages qui ne sont pas vous.
En conséquence, ce que vous devez taper est légèrement différent, dans AI Dungeon, vous tapez prenez l'épée tandis que dans KoboldAI, vous le tapez comme une phrase telle que Vous prenez l'épée et il est préférable de le faire avec le mot Vous au lieu de JE.
Pour parler, tapez simplement : Vous dites "Nous devrions probablement d'abord rassembler quelques fournitures"
Le simple fait de taper la citation peut fonctionner, mais l'IA est à son meilleur lorsque vous spécifiez qui fait quoi dans vos commandes.
Si vous souhaitez faire cela avec vos amis, nous vous conseillons d'utiliser le personnage principal comme Vous et d'utiliser les autres personnages par leur nom si vous jouez sur un modèle entraîné pour les Aventures. Ces modèles supposent qu’il y a un Vous dans l’histoire. Ce mode ne fonctionne généralement pas bien sur les modèles Novel car ils ne savent pas comment gérer les entrées. Ils sont mieux utilisés avec l'écriture d'histoires régulières où vous vous relayez avec l'IA.
Si vous souhaitez utiliser KoboldAI comme assistant d'écriture, il est préférable de le faire en mode normal avec un modèle optimisé pour les romans. Ces modèles ne supposent pas qu'il existe un personnage You et se concentrent sur l'écriture d'un roman. Pour l'écriture, ceux-ci vous donneront souvent de meilleurs résultats que les modèles Adventure ou Generic. Cela dit, si vous lui donnez une bonne introduction à l'histoire, de grands modèles génériques comme le 13B peuvent être utilisés si un modèle plus spécifique n'est pas disponible pour ce que vous souhaitez écrire. Vous pouvez également essayer d'utiliser des modèles qui ne sont pas spécifiques à ce que vous souhaitez faire, par exemple un modèle NSFW Novel pour une histoire SFW si un modèle SFW n'est pas disponible. Cela signifie que vous devrez corriger le modèle plus souvent en raison de son biais, mais que vous pourrez toujours produire des résultats suffisamment bons s'il est suffisamment familier avec votre sujet.
En mode chatbot, vous pouvez utiliser un modèle approprié comme chatbot, ce mode ajoute automatiquement votre nom au début des phrases et empêche l'IA de parler comme vous. Pour l'utiliser correctement, vous devez écrire votre histoire en incarnant les deux personnages dans le format suivant (vous pouvez utiliser votre propre texte) :
Bot : Hey!
You : Hey Boyname, how have you been?
Bot : Been good! How about you?
You : Been great to, excited to try out KoboldAI
Bot : KoboldAI is really fun!
You : For sure! What is your favorite game?
Il est recommandé que votre propre entrée soit la dernière entrée, surtout au début, il est possible que l'IA mélange les noms. Dans ce cas, réessayez ou corrigez manuellement le nom. Ce comportement s'améliore à mesure que le chat progresse. Certains modèles peuvent échanger leurs noms s'ils connaissent mieux un nom différent, similaire à celui que vous avez défini pour le bot. Dans ce cas, vous pouvez soit effectuer des corrections manuelles occasionnelles, soit choisir un nom pour votre chatbot que l'IA préfère.
Ce mode fonctionne mieux soit sur un modèle Générique, soit sur un modèle de chatbot spécialement conçu pour lui, certains modèles comme le modèle AvrilAI sont plutôt conçus pour être utilisés en mode Aventure et ne sont pas conformes au format ci-dessus. Ces modèles sont généralement livrés avec le mode aventure activé par défaut et ne doivent pas être basculés en mode chatbot.
Les modèles Roman ou Aventure ne sont pas recommandés pour cette fonctionnalité, mais peuvent toujours fonctionner mais peuvent rapidement s'éloigner du format de conversation.
Si vous souhaitez jouer gratuitement à KoboldAI en ligne sur un ordinateur puissant, vous pouvez utiliser Google Colaboraty. Nous proposons deux éditions, une édition TPU et une édition GPU avec une variété de modèles disponibles. Ceux-ci fonctionnent entièrement sur les serveurs de Google et téléchargeront automatiquement les sauvegardes sur votre Google Drive si vous choisissez de sauvegarder une histoire (vous pouvez également choisir de télécharger votre sauvegarde à la place afin qu'elle ne soit jamais stockée sur Google Drive). Des instructions détaillées sur la façon de les utiliser se trouvent au bas des Colab.
Chaque édition propose des modèles différents et nécessite un matériel différent pour fonctionner, cela signifie que si vous ne parvenez pas à obtenir un TPU ou un GPU, vous pourrez peut-être toujours utiliser l'autre version. Les modèles que vous pouvez utiliser sont répertoriés sous l'édition. Pour ouvrir un Colab, cliquez sur le gros lien contenant le nom de l'édition.
| Modèle | Style | Description |
|---|---|---|
| Nerys par M. Seeker | Roman/Aventure | Nerys est un modèle hybride basé sur Pike (un Janeway plus récent). En plus de l'ensemble de données Pike, vous obtenez également des Light Novels, la prise en charge du mode Aventure et un peu de Shinen ajoutés au mélange. Le résultat final est un modèle très diversifié qui est fortement orienté vers l'écriture de romans SFW, mais qui peut aller au-delà de sa formation en roman et constituer un excellent modèle d'aventure. Le mode Aventure se joue mieux du point de vue de la deuxième personne, mais peut également être joué à la première ou à la troisième personne. Il est préférable d’écrire un roman à la première ou à la troisième personne. |
| Erebus par M. Seeker | NSFW | Erebus est le modèle NSFW phare de notre communauté, étant une combinaison de plusieurs grands ensembles de données comprenant Literotica, Shinen et des romans érotiques de Nerys et doté d'un support de marquage, il couvre la grande majorité des styles d'écriture érotiques. Ce modèle est capable de remplacer les modèles Lit et Shinen en termes de contenu et de style et a été bien accueilli comme (l'un des) meilleurs modèles NSFW du marché. Si vous souhaitez utiliser ce modèle à des fins commerciales ou non de recherche, nous vous recommandons de choisir la version 20B car celle-ci n'est pas soumise à la licence OPT restrictive. |
| Janeway par M. Seeker | Roman | Janeway est un modèle créé à partir de l'ensemble de données de Picard combiné à une toute nouvelle collection d'ebooks. Ce modèle est formé sur 20 % de contenu en plus que Picard et a été formé sur de la littérature de divers genres. Bien que le modèle se concentre principalement sur SFW, les scènes romantiques peuvent impliquer un certain degré de nudité. |
| Shinen par M. Seeker | NSFW | Shinen est un modèle NSFW formé sur une variété d'histoires du site Web Sexstories, il contient de nombreux problèmes différents. Il a été fusionné dans le modèle Erebus, plus grand (et meilleur). |
| Écheveau par VE_FORBRYDERNE | Aventure | Skein est mieux utilisé avec le mode Aventure activé, il se compose d'un ensemble de données d'aventure 4 fois plus grand que le modèle Aventure, ce qui le rend excellent pour les jeux d'aventure textuels. En plus de cela, il consiste également en une formation au light roman élargissant davantage ses connaissances et ses capacités d’écriture. Il peut être utilisé avec le biais du filtre You si vous souhaitez écrire des romans avec, mais les modèles de romans dédiés peuvent mieux fonctionner pour cette tâche. |
| Aventure par VE_FORBRYDERNE | Aventure | Adventure est un modèle 6B conçu pour imiter le comportement d'AI Dungeon. Il est exclusivement destiné au mode Aventure et peut vous emmener dans les aventures épiques et farfelues que les joueurs d'AI Dungeon adorent. Il présente également les nombreux tropes d'AI Dungeon car il a été formé sur des données très similaires. Il doit être utilisé à la deuxième personne (Vous). |
| Allumé (V2) par Haru | NSFW | Lit est un excellent modèle NSFW formé par Haru à la fois sur un large ensemble d'histoires Literotica et de romans de haute qualité, ainsi qu'un support de marquage. Créer un modèle de haute qualité pour vos histoires NSFW. Ce modèle est exclusivement un modèle nouveau et est mieux utilisé à la troisième personne. |
| OPT par Metaseq | Générique | OPT est considéré comme l'un des meilleurs modèles de base en ce qui concerne le contenu, son comportement présente les atouts de GPT-Neo et de Fairseq Dense. Par rapport à Neo, le contenu en double et inutile a été laissé de côté, tandis que de la littérature supplémentaire a été ajoutée de manière similaire au modèle Fairseq Dense. Le modèle Fairseq Dense ne dispose cependant pas des données plus larges dont dispose l’OPT. Le plus gros inconvénient d’OPT est sa licence, qui interdit toute utilisation commerciale ou toute utilisation au-delà des fins de recherche. |
| Neo(X) par EleutherAI | Générique | NeoX est le plus grand modèle EleutherAI actuellement disponible, étant un modèle générique, il n'est pas particulièrement formé à quoi que ce soit et peut effectuer une variété de tâches d'écriture, de questions-réponses et de codage. Les performances du 20B sont étroitement comparées à celles des modèles 13B et cela vaut la peine d'essayer les deux, surtout si vous avez une tâche qui n'implique pas l'écriture en anglais. Son comportement sera similaire au modèle GPT-J-6B puisqu'ils sont formés sur le même ensemble de données mais avec plus de sensibilité à la pénalité de répétition et avec plus de connaissances. |
| Fairseq dense | Générique | Formé par des chercheurs de Facebook, ce modèle découle du projet de recherche MOE au sein de Fairseq. Cette version particulière a été convertie par nos soins pour être utilisée dans KoboldAI. Il est connu pour être comparable au modèle 20B plus grand d'EleutherAI et considéré comme meilleur pour la culture pop et les tâches linguistiques. Étant donné que le modèle n'a jamais vu de nouvelle ligne (entrée), il peut avoir de moins bons résultats en matière de formatage et de rédaction de paragraphes. Comparé à d’autres modèles, l’ensemble de données se concentre principalement sur la littérature et ne contient pas grand-chose d’autre. |
| GPT-J-6B par EleutherAI | Générique | Ce modèle sert de base à la plupart des autres modèles 6B (certains étant plutôt basés sur Fairseq Dense). Étant formé sur la pile et non orienté vers quoi que ce soit en particulier, il convient à une variété de tâches telles que les tâches d'écriture, de questions-réponses et de codage. Vous obtiendrez probablement de meilleurs résultats avec des modèles génériques plus grands ou des modèles affinés. |
| Modèle | Style | Description |
|---|---|---|
| Nerys par M. Seeker | Roman/Aventure | Nerys est un modèle hybride basé sur Pike (un Janeway plus récent). En plus de l'ensemble de données Pike, vous obtenez également des Light Novels, la prise en charge du mode Aventure et un peu de Shinen ajoutés au mélange. Le résultat final est un modèle très diversifié qui est fortement orienté vers l'écriture de romans SFW, mais qui peut aller au-delà de sa formation en roman et constituer un excellent modèle d'aventure. Le mode Aventure se joue mieux du point de vue de la deuxième personne, mais peut également être joué à la première ou à la troisième personne. Il est préférable d’écrire un roman à la première ou à la troisième personne. |
| Tiefighter 13B par KoboldAI | Hybride | Tiefighter 13B est un hybride de fiction très polyvalent, il peut écrire, discuter et jouer à des jeux d'aventure et peut également répondre à des instructions régulières (bien que nous ne recommandons pas ce modèle pour une utilisation factuelle en raison de sa nature fictive). Il s'agit d'un excellent modèle de départ. Pour de meilleurs résultats, évitez d'utiliser l'écriture à la deuxième personne dans vos discussions, à moins que vous ne souhaitiez que cela devienne une aventure textuelle. |
| Janeway par M. Seeker | Roman | Janeway est un modèle créé à partir de l'ensemble de données de Picard combiné à une toute nouvelle collection d'ebooks. Ce modèle est formé sur 20 % de contenu en plus que Picard et a été formé sur de la littérature de divers genres. Bien que le modèle se concentre principalement sur SFW, les scènes romantiques peuvent impliquer un certain degré de nudité. |
| Picard par Mr Seeker | Roman | Picard est un modèle formé pour SFW Novels basé sur Neo 2.7B. Il se concentre sur l’écriture de style roman sans le biais NSFW. Bien que le nom suggère un modèle de science-fiction, ce modèle est conçu pour les romans de divers genres. Il est destiné à être utilisé en mode normal de KoboldAI. |
| « AIDE » par melastacho | Aventure | Également connu sous le nom d'Adventure 2.7B, il s'agit d'un clone du modèle AI Dungeon Classic et est surtout connu pour les aventures épiques et farfelues que les joueurs d'AI Dungeon Classic adorent. |
| OPT par Metaseq | Générique | OPT est considéré comme l'un des meilleurs modèles de base en ce qui concerne le contenu, son comportement présente les atouts de GPT-Neo et de Fairseq Dense. Par rapport à Neo, le contenu en double et inutile a été laissé de côté, tandis que de la littérature supplémentaire a été ajoutée de manière similaire au modèle Fairseq Dense. Le modèle Fairseq Dense ne dispose cependant pas des données plus larges dont dispose l’OPT. Le plus gros inconvénient d’OPT est sa licence, qui interdit toute utilisation commerciale ou toute utilisation au-delà des fins de recherche. |
| Fairseq dense | Générique | Formé par des chercheurs de Facebook, ce modèle découle du projet de recherche MOE au sein de Fairseq. Cette version particulière a été convertie par nos soins pour être utilisée dans KoboldAI. Il est connu pour être comparable aux modèles plus grands d'EleutherAI et considéré comme meilleur pour la culture pop et les tâches linguistiques. Étant donné que le modèle n'a jamais vu de nouvelle ligne (entrée), il peut avoir de moins bons résultats en matière de formatage et de rédaction de paragraphes. Comparé à d’autres modèles, l’ensemble de données se concentre principalement sur la littérature et ne contient pas grand-chose d’autre. |
| MythoMax 13B par Gryphe | Jeu de rôle | Une variante améliorée, voire perfectionnée, de MythoMix, mon MythoLogic-L2 et Huginn fusionnent en utilisant une technique de fusion de type tenseur hautement expérimentale¹. |
| Holomax 13B par KoboldAI | Aventure | Il s'agit d'une fusion d'extension du modèle MythoMax de Gryphe (60 %) utilisant le modèle KoboldAI Holodeck de MrSeeker (40 %). L'objectif de ce modèle est d'améliorer les capacités d'écriture d'histoires tout en préservant autant que possible les caractéristiques souhaitables du modèle MythoMax (il limite la longueur des réponses du chat). |
| Airoboros 13B par Jon Durbin | Générique | Il s'agit d'un modèle de lama-2 affiné avec des instructions, utilisant des instructions synthétiques générées par airoboros⁵. |
| Emerhyst 13B par Undi | Jeu de rôle | Une tentative utilisant BlockMerge_Gradient pour obtenir un meilleur résultat. De plus, LimaRP v3 a été utilisé⁷. |
| Chronos 13B par Elinas | Générique | Ce modèle se concentre principalement sur le chat, le jeu de rôle et l'écriture d'histoires, mais peut accomplir d'autres tâches telles que du raisonnement et du codage simples. Chronos génère des résultats très longs avec un texte cohérent, en grande partie grâce aux apports humains sur lesquels il a été formé. |
| « Dragon de printemps » par Henk717 | Aventure | Ce modèle est une tentative de récréation du modèle AI Dungeon 2 Dragon. Pour y parvenir, l'ensemble de données « text_adventures.txt » a été utilisé, qui était fourni avec la version originale de AI Dungeon 2 GitHub avant le service en ligne. Il convient de noter que le même fichier de données a été utilisé pour créer le modèle Dragon, où Dragon est un modèle Davinci GPT-3 175B de 2020. |
| Holodeck par KoboldAI | Aventure | LLAMA2 13B-Holodeck est un réglage fin créé à l'aide du modèle Llama 2 de Meta. Les données d'entraînement contiennent environ 3 000 ebooks de différents genres. La plupart des parties de l'ensemble de données ont été précédées du texte suivant : [Genre : , |
| « Néo » par EleutherAI | Générique | Il s'agit du modèle de base pour tous les autres modèles 2.7B. Il est préférable de l'utiliser lorsque vous avez un cas d'utilisation pour lequel nous n'avons aucun autre modèle disponible, comme la rédaction d'articles de blog ou la programmation. Cela peut également être une bonne base pour l'expérience de certains softprompts si votre softprompt ne concerne pas un sujet couvert par les autres modèles. |
| Divers modèles 2.7b par divers | Différents modèles plus petits peuvent également être chargés dans GPU Colab. |
| Taper | Description |
|---|---|
| Roman | Pour l'écriture d'histoires régulières, non compatible avec le mode Aventure ou d'autres modes spécialisés. |
| NSFW | Indique que le modèle est fortement orienté vers le contenu NSFW et n'est pas adapté aux enfants, aux environnements de travail ou à la diffusion en direct. La plupart des modèles NSFW sont également des modèles nouveaux par nature. |
| Aventure | Ces modèles sont excellents pour les personnes souhaitant jouer à KoboldAI comme un jeu Text Adventure et sont destinés à être utilisés avec le mode Aventure activé. Même si vous souhaitez l'utiliser comme modèle de type roman, vous devez toujours activer le mode Aventure et le définir sur histoire. Ces modèles ont généralement un fort parti pris en faveur de l'utilisation du mot Vous et sans le mode Aventure activé, interrompez le déroulement de l'histoire et écrivez des actions en votre nom. |
| Hybride | Les modèles hybrides sont un mélange de différents types, par exemple ils sont formés à la fois aux histoires de roman et aux histoires d'aventure. Ces modèles sont des modèles très variés que vous pouvez utiliser pour plusieurs types et modes de jeu différents, mais en fonction de votre utilisation, vous devrez peut-être activer le mode Aventure ou le biais You (dans les scripts utilisateur). |
| Générique | Les modèles génériques ne sont formés à rien de spécifique, généralement utilisés comme base pour d'autres tâches et modèles. Ils peuvent faire tout ce que les autres modèles peuvent faire, mais nécessitent beaucoup plus de prise en main pour fonctionner correctement. Les modèles génériques constituent une base idéale pour les tâches pour lesquelles nous n'avons pas de modèle spécifique, ou pour expérimenter une invite logicielle sous sa forme brute. |
KoboldAI a un grand nombre de dépendances que vous devrez installer sur votre ordinateur, malheureusement Python ne nous permet pas de fournir facilement des instructions qui fonctionnent pour tout le monde. Les instructions ci-dessous fonctionneront sur la plupart des ordinateurs, mais si plusieurs versions de Python sont installées, des conflits peuvent survenir.
KoboldAI est une version continue sur notre github, le code que vous voyez est aussi le jeu. Vous pouvez télécharger le logiciel en cliquant sur le bouton vert Code en haut de la page et en cliquant sur Télécharger ZIP, ou utiliser la commande git clone à la place. Ensuite, sous Windows, vous devez exécuter install_requirements.bat (l'utilisation du mode admin est recommandée pour éviter les erreurs), et une fois que c'est fait, ou si vous êtes sous Linux, soit play.bat/sh ou remote-play.bat/sh pour l'exécuter.
Le moyen le plus simple pour les utilisateurs Windows consiste à utiliser le programme d’installation hors ligne ci-dessous.
KoboldAI va désormais configurer automatiquement ses dépendances et démarrer, tout est contenu dans son propre runtime conda afin que nous n'encombrions pas votre système. Les fichiers seront situés dans le sous-dossier d'exécution. Si à tout moment vous souhaitez forcer une réinstallation du runtime, vous pouvez le faire avec le fichier install_requirements.sh. Bien que vous puissiez l'exécuter manuellement, ce n'est pas nécessaire.
Nous ne pouvons pas fournir de guide étape par étape pour une installation manuelle en raison des grandes différences entre la configuration logicielle existante et les systèmes de nos utilisateurs.
Si vous souhaitez installer manuellement KoboldAI, vous aurez besoin de connaissances en gestion de packages python/conda pour effectuer manuellement l'une des étapes suivantes :
Les GPU AMD ont un support de calcul épouvantable, cela ne fonctionnera actuellement pas sous Windows et ne fonctionnera que pour quelques GPU Linux sélectionnés. Vous pouvez trouver une liste des GPU compatibles ici. Il est garanti que tout GPU non répertorié ne fonctionnera pas avec KoboldAI et nous ne serons pas en mesure de fournir une assistance appropriée sur les GPU qui ne sont pas compatibles avec les versions de ROCm dont nous avons besoin. Assurez-vous d'installer d'abord ROCm sur votre système Linux à l'aide d'un guide pour votre distribution, après quoi vous pourrez suivre les instructions Linux habituelles ci-dessus.
Plusieurs problèmes peuvent survenir dans la façon dont Python gère ses dépendances. Malheureusement, nous n'avons pas de solutions directes étape par étape pour chaque scénario, mais il existe quelques solutions courantes que vous pouvez essayer.
Il s'agit TOUJOURS soit d'un échec de téléchargement/d'installation, soit d'un conflit avec d'autres versions de Python. Ceci est très courant si les utilisateurs ont choisi l'option de sous-dossier lors de l'installation tout en plaçant KoboldAI dans un emplacement comportant des espaces dans le chemin. Lorsqu'un antivirus sandboxe l'installation ou interfère de toute autre manière avec les téléchargements, les systèmes avec peu d'espace disque ou lorsque votre système d'exploitation n'a pas été configuré pour les chemins de fichiers longs (le programme d'installation le fera sur Windows 10 et versions ultérieures si vous l'exécutez en tant qu'administrateur, toute autre chose que Windows 10 n'est pas pris en charge par nos installateurs).
Une autre raison pour laquelle l'installation a pu échouer est que si vous avez des installations conflictuelles de Python sur votre ordinateur, si vous appuyez sur la touche Windows + R et entrez %appdata% dans la boîte de dialogue Exécuter, cela ouvrira le dossier des dépendances d'installation de Python sur certains systèmes. Si vous avez un dossier Python à cet emplacement, renommez ce dossier et essayez à nouveau d'exécuter le programme d'installation. Il ne devrait désormais plus rester bloqué sur les dépendances existantes. Essayez le jeu et voyez s'il fonctionne bien. Si tel est le cas, vous pouvez essayer de renommer le dossier pour voir s'il reste fonctionnel.
La troisième raison pour laquelle l'installation a pu échouer est si vous avez conda/mamba sur votre système pour d'autres raisons. Dans ce cas, nous vous recommandons de supprimer vos installations existantes de python/conda si vous n'en avez pas besoin et de tester à nouveau notre programme d'installation. Ou en utilisant conda lui-même avec nos fichiers d'environnement fournis pour lui permettre de créer son environnement d'exécution manuellement. Gardez à l'esprit que si vous suivez la voie manuelle, vous ne devez JAMAIS utiliser play.bat mais devez plutôt exécuter aiserver.py directement .
En général, moins vous avez de versions de Python sur votre système, plus vous avez de chances de l'installer correctement. Nous essayons constamment d'atténuer ces conflits d'installation dans nos installateurs, mais pour certains utilisateurs, nous ne pouvons pas encore éviter tous les conflits.
Les erreurs GPU introuvable peuvent être causées par l'une des deux choses suivantes : soit vous ne disposez pas d'un GPU Nvidia approprié (il nécessite Compute Capability 5.0 ou supérieur pour pouvoir jouer à KoboldAI). Votre GPU Nvidia est pris en charge par KoboldAI mais n'est pas pris en charge par la dernière version de CUDA. Votre GPU Nvidia n'est pas encore pris en charge par la dernière version de CUDA ou vous rencontrez un conflit de dépendances comme ceux mentionnés ci-dessus.
Comme pour les conflits de versions de Python, nous vous recommandons de désinstaller CUDA de votre système si vous l'avez installé manuellement et que vous n'en avez pas besoin pour autre chose, puis de réessayer. Si votre GPU a besoin de CUDA10 pour fonctionner, ouvrez environnementsfinetuneanon.yml et ajoutez une ligne indiquant - cudatoolkit=10.2 sous les dépendances : . Après cela, vous pouvez réexécuter le programme d'installation (choisissez l'option permettant de supprimer les fichiers existants) et il téléchargera une version compatible CUDA10.
Si vous ne disposez pas d'un GPU Nvidia approprié pouvant fonctionner sur CUDA10 ou supérieur et prenant en charge Compute Capabilities 5.0 ou supérieur, nous ne pouvons pas vous aider à détecter le jeu sur le GPU. A moins que vous ne suiviez notre guide ROCm avec un GPU AMD compatible.
Si vous obtenez ces erreurs, soit vous n'avez pas sélectionné le bon dossier pour votre modèle personnalisé, soit le modèle que vous avez téléchargé n'est pas (encore) compatible avec KoboldAI. Il existe quelques modèles compatibles et fournissant un fichier pytorch_model.bin mais ne livrant pas tous les fichiers requis. Dans ce cas essayez de télécharger un modèle compatible du même genre (Par exemple un autre GPT-Neo si vous avez téléchargé un modèle GPT-Neo) et remplacez le fichier pytorch_model.bin par celui que vous essayez d'exécuter. Il y a de fortes chances que cela fonctionne bien.
Les invites logicielles (également appelées modules dans d'autres produits) sont des modules complémentaires qui peuvent modifier la sortie des modèles existants. Par exemple, vous pouvez charger une invite logicielle qui oriente l'IA vers un certain sujet et un certain style, comme les transcriptions de votre émission de télévision préférée.
Étant donné que ces invites logicielles sont souvent basées sur des franchises existantes, nous n'en regroupons actuellement aucune avec KoboldAI en raison de problèmes de droits d'auteur (nous ne voulons pas mettre l'ensemble du projet en danger). Consultez plutôt les ressources de la communauté comme #softprompts sur le KoboldAI Discord ou le miroir hébergé par la communauté.
De cette façon, nous sommes mieux protégés contre toute réclamation DMCA, car les éléments peuvent être supprimés plus facilement que directement sur Github. Si vous disposez d'une invite logicielle libre de droits que vous avez créée à partir de zéro et qui n'est pas basée sur une adresse IP existante et que vous aimeriez voir officiellement intégrée à KoboldAI, envoyez une pull request avec votre invite logicielle.
Les invites logicielles de formation peuvent être effectuées gratuitement avec Easy Softprompt Tuner, dans ce cas, vous pouvez laisser la plupart des paramètres par défaut. Vos données sources doivent être un dossier contenant des fichiers texte au format UTF-8 et contenant des fins de ligne Unix.
Les scripts utilisateur sont des scripts qui peuvent automatiser des tâches dans KoboldAI, ou modifier le comportement/entrée/sortie de l'IA.
Les scripts sont effectués dans LUA5.4 (Lua n'a pas besoin d'être installé séparément tant que vous disposez de toutes les exigences Python) et disposent d'un sandboxing pour vous protéger contre les comportements malveillants. Même avec ces mesures en place, nous vous conseillons fortement d'exécuter uniquement des scripts utilisateur provenant d'endroits auxquels vous faites confiance et/ou comprenez, sinon consultez la communauté pour obtenir des conseils sur la sécurité du script.
Dans le dossier userscripts, vous trouverez nos scripts kaipreset, ce sont des scripts par défaut qui, selon nous, seront utiles à nos utilisateurs. Ces scripts sont automatiquement écrasés lorsque vous mettez à jour KoboldAI, si vous souhaitez modifier ces scripts, assurez-vous d'abord de les renommer en quelque chose d'autre qui ne contient pas de kaipreset afin que vos modifications ne soient pas perdues. Ces scripts vont d'un filtre You Bias qui empêche l'IA de s'adresser aux personnages comme vous. Des moyens pour empêcher l'IA d'utiliser des mots, des remplacements de mots et bien plus encore.
En plus de nos scripts prédéfinis, nous fournissons également des exemples dans le dossier d'exemples qui servent simplement de démonstration et n'améliorent pas votre utilisation de KoboldAI. Pour utiliser ces scripts, assurez-vous de les déplacer hors du dossier d'exemples avant d'utiliser ou de modifier le script.
Enfin, toutes les fonctionnalités de notre API userscript sont documentées dans les fichiers de documentation de l'API dans le dossier userscripts.
Pour nos versions TPU, gardez à l'esprit que les scripts modifiant le comportement de l'IA reposent sur une méthode de traitement différente, plus lente que si vous laissez ces scripts utilisateur désactivés, même si votre script n'utilise ce modificateur que sporadiquement. Si vous souhaitez utiliser partiellement un script à sa vitesse maximale, vous pouvez activer « Aucun modificateur de génération » pour vous assurer que les parties qui ralentiraient le TPU ne sont pas actives.
KoboldAI dispose d'une API REST accessible en ajoutant /api à l'URL que Kobold vous fournit (par exemple http://127.0.0.1:5000/api).
En accédant à ce lien dans un navigateur, vous serez redirigé vers la documentation interactive.
Ce projet contient le travail des contributeurs suivants :
Ainsi que divers créateurs de modèles qui seront répertoriés près de leurs modèles, et tous les testeurs qui ont contribué à rendre cela possible!
Avons-nous manqué votre contribution? N'hésitez pas à délivrer un engagement en ajoutant votre nom à cette liste.
Koboldai est autorisé avec une licence AGPL, en bref, cela signifie qu'il peut être utilisé par n'importe qui à des fins. Cependant, si vous décidez de créer une instance accessible au public, vos utilisateurs ont droit à une copie du code source, y compris toutes les modifications que vous avez apportées (qui doivent être disponibles une interface comme un bouton sur votre site Web), vous pouvez également ne distribue pas ce projet dans un formulaire qui ne contient pas le code source (tel que la compilation / le cryptage du code et la distribution de cette version sans distribuer également le code source qui comprend les modifications que vous avez apportées. Vous êtes autorisé à distribuer cela sous forme fermée Si vous fournissez également un séparé Archive avec le code source.).
Umamba.exe est regroupé pour plus de commodité car nous avons observé que beaucoup de nos utilisateurs avaient des problèmes avec les méthodes de téléchargement de ligne de commande, cela ne fait pas partie de notre projet et ne relève pas de la licence AGPL. Il est licencié en vertu de la licence de clause BSD-3. D'autres fichiers avec des licences différentes auront une version de référence ou intégrée de cette licence dans le fichier. Il provient de https://anaconda.org/conda-forge/micromamba/files et son code source peut être trouvé ici: https://github.com/mamba-org/mamba/tree/master/micromamba
