KoboldAI Client
Looking for our latest KoboldAI product?
KoboldAI ist nach der KoboldAI-Software benannt. Derzeit ist unser neueres, beliebtestes Programm KoboldCpp.
Wenn Sie diese Nachricht lesen, befinden Sie sich auf der Seite der Original-KoboldAI-Software.
Bevorzugen Sie KoboldCpp mit GGUF-Modellen und den neuesten API-Funktionen? Sie können https://koboldai.org/cpp besuchen
Benötigen Sie Unterstützung für neuere Modelle wie Llama-basierte Modelle, die die Huggingface-/Exllama-Plattformen (Safetensors/Pytorch) verwenden? Schauen Sie sich KoboldAIs Entwicklungsversion KoboldAI United unter https://koboldai.org/united an
Dies ist ein browserbasiertes Frontend für KI-gestütztes Schreiben mit mehreren lokalen und Remote-KI-Modellen. Es bietet die Standardpalette an Tools, darunter Speicher, Anmerkung des Autors, Weltinformationen, Speichern und Laden, anpassbare KI-Einstellungen, Formatierungsoptionen und die Möglichkeit, vorhandene KI-Dungeon-Abenteuer zu importieren. Sie können auch den Abenteuermodus aktivieren und das Spiel wie AI Dungeon Unleashed spielen.
Geschichten können wie ein Roman, ein Textabenteuerspiel oder als Chatbot mit einfachem Umschalten zwischen den verschiedenen Spielstilen gespielt werden. Damit ist KoboldAI gleichzeitig ein Schreibassistent, ein Spiel und eine Plattform für noch viel mehr. Die Art und Weise, wie Sie spielen und wie gut die KI sein wird, hängt von dem Modell oder Dienst ab, für den Sie sich entscheiden. Egal, ob Sie die kostenlose, schnelle Leistung von Google Colab, Ihre eigene High-End-Grafikkarte, einen Onlinedienst, für den Sie einen API-Schlüssel haben (wie OpenAI oder Inferkit), nutzen möchten oder ihn lieber einfach langsamer auf Ihrer CPU ausführen möchten Wir werden in der Lage sein, einen Weg zu finden, KoboldAI zu nutzen, der für Sie funktioniert.
Standardmäßig läuft KoboldAI in einem generischen Modus, der für das Schreiben optimiert ist, aber mit dem richtigen Modell können Sie es ohne Probleme wie AI Dungeon spielen. Sie können dies in den Einstellungen aktivieren und Ihre eigene Eingabeaufforderung mitbringen, versuchen, eine zufällige Eingabeaufforderung zu generieren oder eine der unter /aids/Prompts verfügbaren Eingabeaufforderungen herunterladen.
Das Gameplay wird sich geringfügig vom Gameplay in AI Dungeon unterscheiden, da wir den Type of the Unleashed-Fork übernommen haben, der Ihnen die volle Kontrolle über alle Charaktere gibt, da wir Ihre Sätze hinter den Kulissen nicht automatisch anpassen. Dies bedeutet, dass Sie Charaktere, die nicht Sie selbst sind, zuverlässiger steuern können.
Daher ist das, was Sie eingeben müssen, etwas anders. In AI Dungeon würden Sie „ Take the Sword“ eingeben, während Sie es in KoboldAI wie einen Satz wie „You take the Sword“ eingeben würden, und dies geschieht am besten mit dem Wort „You“ statt ICH.
Um zu sprechen, geben Sie einfach Folgendes ein: Sie sagen: „Wir sollten wahrscheinlich zuerst ein paar Vorräte besorgen.“
Das bloße Eintippen des Anführungszeichens könnte funktionieren, aber die KI ist am besten, wenn Sie in Ihren Befehlen angeben, wer was tun soll.
Wenn Sie dies mit Ihren Freunden tun möchten, empfehlen wir Ihnen, die Hauptfigur als Sie selbst zu verwenden und die anderen Charaktere mit ihrem Namen zu verwenden, wenn Sie auf einem für Abenteuer trainierten Modell spielen. Diese Modelle gehen davon aus, dass es in der Geschichte ein „Du“ gibt. Dieser Modus funktioniert bei Novel-Modellen normalerweise nicht gut, da sie nicht wissen, wie sie mit der Eingabe umgehen sollen. Diese werden am besten beim normalen Schreiben von Geschichten verwendet, bei dem man sich mit der KI abwechselt.
Wenn Sie KoboldAI als Schreibassistenten nutzen möchten, tun Sie dies am besten im regulären Modus mit einem für Romane optimierten Modell. Diese Modelle gehen nicht davon aus, dass es einen Du-Charakter gibt und konzentrieren sich auf romanartiges Schreiben. Beim Schreiben liefern diese oft bessere Ergebnisse als Adventure- oder Generic-Modelle. Wenn Sie jedoch eine gute Einführung in die Geschichte geben, können große generische Modelle wie 13B verwendet werden, wenn für das, was Sie schreiben möchten, kein spezifischeres Modell verfügbar ist. Sie können auch versuchen, Modelle zu verwenden, die nicht spezifisch für das sind, was Sie tun möchten, beispielsweise ein NSFW Novel-Modell für eine SFW-Story, wenn kein SFW-Modell verfügbar ist. Dies bedeutet, dass Sie das Modell aufgrund seiner Verzerrung häufiger korrigieren müssen, aber dennoch gute Ergebnisse erzielen können, wenn es mit Ihrem Thema ausreichend vertraut ist.
Im Chatbot-Modus können Sie ein passendes Modell als Chatbot nutzen, dieser Modus fügt Ihren Namen automatisch am Satzanfang hinzu und verhindert, dass die KI mit Ihnen spricht. Um es richtig zu verwenden, müssen Sie den Beginn Ihrer Geschichte mit beiden Charakteren im folgenden Format schreiben (Sie können Ihren eigenen Text verwenden):
Bot : Hey!
You : Hey Boyname, how have you been?
Bot : Been good! How about you?
You : Been great to, excited to try out KoboldAI
Bot : KoboldAI is really fun!
You : For sure! What is your favorite game?
Es wird empfohlen, die eigene Eingabe als letzte Eingabe vorzunehmen, da es besonders am Anfang möglich ist, dass die KI die Namen verwechselt. Versuchen Sie es in diesem Fall erneut oder korrigieren Sie den Namen manuell. Dieses Verhalten verbessert sich mit fortschreitendem Chat. Einige Modelle tauschen möglicherweise Namen aus, wenn ihnen ein anderer Name vertrauter ist, der dem Namen ähnelt, den Sie für den Bot definiert haben. In diesem Fall können Sie entweder gelegentlich manuelle Korrekturen vornehmen oder einen Namen für Ihren Chatbot wählen, der der KI besser gefällt.
Dieser Modus funktioniert am besten mit einem generischen Modell oder einem speziell dafür entwickelten Chatbot-Modell. Einige Modelle wie das AvrilAI-Modell sind stattdessen für die Verwendung im Abenteuermodus konzipiert und entsprechen nicht dem oben genannten Format. Diese Modelle werden normalerweise mit standardmäßig aktiviertem Abenteuermodus ausgeliefert und sollten nicht auf den Chatbot-Modus umgestellt werden.
Roman- oder Abenteuermodelle werden für diese Funktion nicht empfohlen, funktionieren aber möglicherweise immer noch, können aber schnell vom Konversationsformat abweichen.
Wenn Sie KoboldAI kostenlos online auf einem leistungsstarken Computer spielen möchten, können Sie Google Colaboraty nutzen. Wir bieten zwei Editionen an, eine TPU- und eine GPU-Edition, wobei verschiedene Modelle verfügbar sind. Diese laufen vollständig auf den Servern von Google und laden Spielstände automatisch auf Ihr Google Drive hoch, wenn Sie eine Story speichern möchten (Alternativ können Sie stattdessen Ihren Spielstand herunterladen, sodass er nie auf Google Drive gespeichert wird). Detaillierte Anweisungen zur Verwendung finden Sie am Ende des Colab's.
Jede Edition verfügt über unterschiedliche Modelle und erfordert unterschiedliche Hardware zum Betrieb. Das bedeutet, dass Sie möglicherweise trotzdem die andere Version verwenden können, wenn Sie keine TPU oder GPU erhalten können. Die verwendbaren Modelle sind unterhalb der Edition aufgeführt. Um ein Colab zu öffnen, klicken Sie auf den großen Link mit dem Namen der Edition.
| Modell | Stil | Beschreibung |
|---|---|---|
| Nerys von Mr. Seeker | Roman/Abenteuer | Nerys ist ein Hybridmodell, das auf Pike (einem neueren Janeway) basiert. Zusätzlich zum Pike-Datensatz erhalten Sie auch einige Light Novels, Unterstützung für den Abenteuermodus und ein wenig Shinen. Das Endergebnis ist ein sehr vielfältiges Modell, das stark auf das Schreiben von SFW-Romanen ausgerichtet ist, aber über die Romanausbildung hinausgehen und ein hervorragendes Abenteuermodell abgeben kann. Der Abenteuermodus lässt sich am besten aus der Second-Person-Perspektive spielen, kann aber auch in der First- oder Third-Person-Perspektive gespielt werden. Das Schreiben von Romanen gelingt am besten aus der ersten oder dritten Person. |
| Erebus von Mr. Seeker | NSFW | Erebus ist das Flaggschiff-NSFW-Modell unserer Community. Es besteht aus einer Kombination mehrerer großer Datensätze, darunter Literotica, Shinen und Erotikromane von Nerys, und deckt mit umfassender Tagging-Unterstützung die überwiegende Mehrheit der erotischen Schreibstile ab. Dieses Modell ist in der Lage, sowohl das Lit- als auch das Shinen-Modell inhaltlich und stilistisch zu ersetzen und wurde als (eines) der besten NSFW-Modelle auf dem Markt gut angenommen. Wenn Sie dieses Modell für kommerzielle oder nicht wissenschaftliche Zwecke nutzen möchten, empfehlen wir die Wahl der 20B-Version, da diese nicht der restriktiven OPT-Lizenz unterliegt. |
| Janeway von Mr. Seeker | Roman | Janeway ist ein Modell, das aus Picards Datensatz in Kombination mit einer brandneuen E-Book-Sammlung erstellt wurde. Dieses Modell ist auf 20 % mehr Inhalte als Picard trainiert und wurde auf Literatur aus verschiedenen Genres trainiert. Obwohl sich das Modell hauptsächlich auf SFW konzentriert, können romantische Szenen ein gewisses Maß an Nacktheit beinhalten. |
| Shinen von Mr. Seeker | NSFW | Shinen ist ein NSFW-Model, das mit einer Vielzahl von Geschichten der Website Sexstories trainiert wurde, die viele verschiedene Kinks enthalten. Es wurde in das größere (und bessere) Erebus-Modell integriert. |
| Strang von VE_FORBRYDERNE | Abenteuer | Skein lässt sich am besten mit aktiviertem Adventure-Modus verwenden. Es besteht aus einem viermal größeren Adventure-Datensatz als das Adventure-Modell und eignet sich daher hervorragend für Text-Adventure-Spiele. Darüber hinaus umfasst es auch ein Light-Novel-Training, das sein Wissen und seine Schreibfähigkeiten weiter ausbaut. Es kann mit der Sie-Filter-Voreingenommenheit verwendet werden, wenn Sie damit Romane schreiben möchten, aber dedizierte Romanmodelle können für diese Aufgabe eine bessere Leistung erbringen. |
| Abenteuer von VE_FORBRYDERNE | Abenteuer | Adventure ist ein 6B-Modell, das das Verhalten von AI Dungeon nachahmen soll. Es ist exklusiv für den Abenteuermodus und kann Sie auf die epischen und verrückten Abenteuer mitnehmen, die AI Dungeon-Spieler lieben. Es verfügt auch über die vielen Tropen von AI Dungeon, da es auf sehr ähnlichen Daten trainiert wurde. Es muss in der zweiten Person (Sie) verwendet werden. |
| Lit (V2) von Haru | NSFW | Lit ist ein großartiges NSFW-Modell, das von Haru sowohl für eine große Auswahl an Literotica-Geschichten als auch für hochwertige Romane geschult wurde und zusätzlich Tagging-Unterstützung bietet. Erstellen Sie ein hochwertiges Modell für Ihre NSFW-Geschichten. Bei diesem Modell handelt es sich ausschließlich um ein neuartiges Modell, das am besten in der dritten Person verwendet wird. |
| OPT von Metaseq | Generisch | OPT gilt inhaltlich als eines der besten Basismodelle, sein Verhalten weist die Stärken von GPT-Neo und Fairseq Dense auf. Im Vergleich zu Neo wurden doppelte und unnötige Inhalte weggelassen, während zusätzliche Literatur hinzugefügt wurde, ähnlich wie beim Fairseq Dense-Modell. Dem Fairseq Dense-Modell fehlen jedoch die umfassenderen Daten, über die OPT verfügt. Der größte Nachteil von OPT ist seine Lizenz, die jegliche kommerzielle oder über Forschungszwecke hinausgehende Nutzung verbietet. |
| Neo(X) von EleutherAI | Generisch | NeoX ist das größte derzeit verfügbare EleutherAI-Modell. Da es sich um ein generisches Modell handelt, ist es auf nichts besonders trainiert und kann eine Vielzahl von Schreib-, Frage-und-Antwort- und Codierungsaufgaben ausführen. Die Leistung des 20B ist eng mit der der 13B-Modelle vergleichbar und es lohnt sich, beide auszuprobieren, insbesondere wenn Sie eine Aufgabe haben, bei der es nicht darum geht, Englisch zu schreiben. Sein Verhalten wird dem GPT-J-6B-Modell ähneln, da sie auf demselben Datensatz trainiert werden, jedoch empfindlicher gegenüber Wiederholungsstrafen und mit mehr Wissen. |
| Fairseq dicht | Generisch | Dieses von Facebook-Forschern trainierte Modell stammt aus dem MOE-Forschungsprojekt innerhalb von Fairseq. Diese spezielle Version wurde von uns für die Verwendung in KoboldAI konvertiert. Es ist bekanntermaßen auf Augenhöhe mit dem größeren 20B-Modell von EleutherAI und gilt als besser für Popkultur- und Sprachaufgaben. Da das Modell noch nie eine neue Zeile (Eingabe) gesehen hat, kann es bei Formatierung und Absätzen zu einer schlechteren Leistung kommen. Im Vergleich zu anderen Modellen konzentriert sich der Datensatz hauptsächlich auf Literatur und enthält kaum anderes. |
| GPT-J-6B von EleutherAI | Generisch | Dieses Modell dient als Grundlage für die meisten anderen 6B-Modelle (einige basieren stattdessen auf Fairseq Dense). Da er auf dem Stapel trainiert ist und sich nicht auf etwas Bestimmtes konzentriert, eignet er sich für eine Vielzahl von Aufgaben wie Schreiben, Fragen und Antworten und Programmieraufgaben. Mit größeren generischen Modellen oder fein abgestimmten Modellen werden Sie wahrscheinlich bessere Ergebnisse erzielen. |
| Modell | Stil | Beschreibung |
|---|---|---|
| Nerys von Mr. Seeker | Roman/Abenteuer | Nerys ist ein Hybridmodell, das auf Pike (einem neueren Janeway) basiert. Zusätzlich zum Pike-Datensatz erhalten Sie auch einige Light Novels, Unterstützung für den Abenteuermodus und ein wenig Shinen. Das Endergebnis ist ein sehr vielfältiges Modell, das stark auf das Schreiben von SFW-Romanen ausgerichtet ist, aber über die Romanausbildung hinausgehen und ein hervorragendes Abenteuermodell abgeben kann. Der Abenteuermodus lässt sich am besten aus der Second-Person-Perspektive spielen, kann aber auch in der First- oder Third-Person-Perspektive gespielt werden. Das Schreiben von Romanen gelingt am besten aus der ersten oder dritten Person. |
| Tiefighter 13B von KoboldAI | Hybrid | Tiefighter 13B ist ein sehr vielseitiger fiktionaler Hybrid, er kann schreiben, chatten und Abenteuerspiele spielen und auch auf normale Anweisungen antworten (obwohl wir dieses Modell aufgrund seines fiktionalen Charakters nicht für den sachlichen Einsatz empfehlen). Dies ist ein hervorragendes Einstiegsmodell. Um die besten Ergebnisse zu erzielen, vermeiden Sie es, in Ihren Chats das Schreiben in der zweiten Person zu verwenden, es sei denn, Sie möchten, dass daraus ein Textabenteuer wird. |
| Janeway von Mr. Seeker | Roman | Janeway ist ein Modell, das aus Picards Datensatz in Kombination mit einer brandneuen E-Book-Sammlung erstellt wurde. Dieses Modell ist auf 20 % mehr Inhalte als Picard trainiert und wurde auf Literatur aus verschiedenen Genres trainiert. Obwohl sich das Modell hauptsächlich auf SFW konzentriert, können romantische Szenen ein gewisses Maß an Nacktheit beinhalten. |
| Picard von Mr. Seeker | Roman | Picard ist ein für SFW Novels trainiertes Modell auf Basis von Neo 2.7B. Der Schwerpunkt liegt auf dem Schreiben im Romanstil ohne NSFW-Voreingenommenheit. Während der Name auf ein Science-Fiction-Modell schließen lässt, ist dieses Modell für Romane verschiedener Genres konzipiert. Es soll im regulären Modus von KoboldAI verwendet werden. |
| HILFE von melastacho | Abenteuer | Auch bekannt als Adventure 2.7B, ist dies ein Klon des AI Dungeon Classic-Modells und vor allem für die epischen verrückten Abenteuer bekannt, die AI Dungeon Classic-Spieler lieben. |
| OPT von Metaseq | Generisch | OPT gilt inhaltlich als eines der besten Basismodelle, sein Verhalten weist die Stärken von GPT-Neo und Fairseq Dense auf. Im Vergleich zu Neo wurden doppelte und unnötige Inhalte weggelassen, während zusätzliche Literatur hinzugefügt wurde, ähnlich wie beim Fairseq Dense-Modell. Dem Fairseq Dense-Modell fehlen jedoch die umfassenderen Daten, über die OPT verfügt. Der größte Nachteil von OPT ist seine Lizenz, die jegliche kommerzielle oder über Forschungszwecke hinausgehende Nutzung verbietet. |
| Fairseq dicht | Generisch | Dieses von Facebook-Forschern trainierte Modell stammt aus dem MOE-Forschungsprojekt innerhalb von Fairseq. Diese spezielle Version wurde von uns für die Verwendung in KoboldAI konvertiert. Es ist bekanntermaßen den größeren Modellen von EleutherAI ebenbürtig und gilt als besser für Popkultur- und Sprachaufgaben. Da das Modell noch nie eine neue Zeile (Eingabe) gesehen hat, kann es bei Formatierung und Absätzen zu einer schlechteren Leistung kommen. Im Vergleich zu anderen Modellen konzentriert sich der Datensatz hauptsächlich auf Literatur und enthält kaum anderes. |
| MythoMax 13B von Gryphe | Rollenspiel | Meine MythoLogic-L2 und Huginn sind eine verbesserte, möglicherweise sogar perfektionierte Variante von MythoMix und werden mithilfe einer äußerst experimentellen Tensor-Merge-Technik¹ zusammengeführt. |
| Holomax 13B von KoboldAI | Abenteuer | Dies ist eine Erweiterungszusammenführung zum vielgelobten MythoMax-Modell von Gryphe (60 %) unter Verwendung des KoboldAI Holodeck-Modells von MrSeeker (40 %). Das Ziel dieses Modells besteht darin, die Fähigkeiten zum Schreiben von Geschichten zu verbessern und gleichzeitig die wünschenswerten Eigenschaften des MythoMax-Modells so weit wie möglich beizubehalten (es begrenzt die Länge der Chat-Antworten). |
| Airoboros 13B von Jon Durbin | Generisch | Hierbei handelt es sich um ein an Anweisungen fein abgestimmtes Lama-2-Modell, das synthetische Anweisungen verwendet, die von Airoboros⁵ generiert wurden. |
| Emerhyst 13B von Undi | Rollenspiel | Ein Versuch, BlockMerge_Gradient zu verwenden, um ein besseres Ergebnis zu erzielen. Darüber hinaus wurde LimaRP v3 verwendet⁷. |
| Chronos 13B von Elinas | Generisch | Dieses Modell konzentriert sich hauptsächlich auf Chat, Rollenspiele und das Schreiben von Geschichten, kann aber auch andere Aufgaben wie einfache Argumentation und Codierung erfüllen. Chronos generiert sehr lange Ausgaben mit kohärentem Text, was größtenteils auf die menschlichen Eingaben zurückzuführen ist, auf die es trainiert wurde. |
| Frühlingsdrache von Henk717 | Abenteuer | Dieses Modell ist ein Nachbildungsversuch des AI Dungeon 2 Dragon-Modells. Um dies zu erreichen, wurde der Datensatz „text_adventures.txt“ verwendet, der vor dem Online-Dienst mit der ursprünglichen GitHub-Version von AI Dungeon 2 gebündelt war. Es ist erwähnenswert, dass dieselbe Datensatzdatei zur Erstellung des Dragon-Modells verwendet wurde, wobei es sich bei Dragon um ein GPT-3 175B Davinci-Modell aus dem Jahr 2020 handelt. |
| Holodeck von KoboldAI | Abenteuer | LLAMA2 13B-Holodeck ist eine Feinabstimmung, die mit dem Lama-2-Modell von Meta erstellt wurde. Die Trainingsdaten enthalten rund 3000 E-Books verschiedener Genres. Den meisten Teilen des Datensatzes wurde der folgende Text vorangestellt: [Genre: , |
| Neo von EleutherAI | Generisch | Dies ist das Basismodell für alle anderen 2.7B-Modelle. Es wird am besten verwendet, wenn Sie einen Anwendungsfall haben, für den wir keine anderen Modelle zur Verfügung haben, z. B. das Schreiben von Blogartikeln oder das Programmieren. Es kann auch eine gute Grundlage für die Erfahrung einiger Softprompts sein, wenn es in Ihrem Softprompt nicht um ein Thema geht, das die anderen Modelle abdecken. |
| Verschiedene 2.7b-Modelle von verschiedenen | Auch diverse kleinere Modelle können in GPU Colab geladen werden. |
| Typ | Beschreibung |
|---|---|
| Roman | Zum normalen Schreiben von Geschichten, nicht kompatibel mit dem Abenteuermodus oder anderen Spezialmodi. |
| NSFW | Zeigt an, dass das Modell stark auf NSFW-Inhalte ausgerichtet ist und nicht für Kinder, Arbeitsumgebungen oder Livestreaming geeignet ist. Die meisten NSFW-Modelle sind auch neuartige Modelle. |
| Abenteuer | Diese Modelle eignen sich hervorragend für Leute, die KoboldAI wie ein Text-Adventure-Spiel spielen möchten, und sind für die Verwendung mit aktiviertem Adventure-Modus gedacht. Auch wenn Sie es als Novel Type-Modell verwenden möchten, sollten Sie immer den Abenteuermodus aktiviert und auf Story eingestellt haben. Diese Modelle haben typischerweise eine starke Vorliebe für die Verwendung des Wortes „Sie“ und unterbrechen ohne aktivierten Abenteuermodus den Story-Fluss und schreiben Aktionen in Ihrem Namen. |
| Hybrid | Hybridmodelle sind eine Mischung aus verschiedenen Typen, sie werden beispielsweise sowohl auf Romangeschichten als auch auf Abenteuergeschichten trainiert. Bei diesen Modellen handelt es sich um eine große Vielfalt an Modellen, die Sie für mehrere verschiedene Spielarten und -modi verwenden können. Abhängig von Ihrer Nutzung müssen Sie jedoch möglicherweise den Abenteuermodus oder die Ausrichtung „Sie“ (in Benutzerskripten) aktivieren. |
| Generisch | Generische Modelle werden nicht auf etwas Bestimmtes trainiert und dienen typischerweise als Grundlage für andere Aufgaben und Modelle. Sie können alles, was auch die anderen Modelle können, erfordern aber viel mehr Handgriff, um richtig zu funktionieren. Generische Modelle sind eine ideale Grundlage für Aufgaben, für die wir kein spezifisches Modell haben, oder um einen Softprompt in seiner Rohform zu erleben. |
KoboldAI hat eine große Anzahl von Abhängigkeiten, die Sie auf Ihrem Computer installieren müssen. Leider macht es uns Python nicht leicht, Anweisungen bereitzustellen, die für alle funktionieren. Die folgenden Anweisungen funktionieren auf den meisten Computern. Wenn Sie jedoch mehrere Versionen von Python installiert haben, kann es zu Konflikten kommen.
KoboldAI ist eine fortlaufende Veröffentlichung auf unserem Github, der Code, den Sie sehen, ist auch das Spiel. Sie können die Software herunterladen, indem Sie oben auf der Seite auf die grüne Schaltfläche „Code“ und dann auf „ZIP herunterladen“ klicken oder stattdessen den Befehl git clone verwenden. Dann müssen Sie unter Windows install_requirements.bat ausführen (die Verwendung des Administratormodus wird empfohlen, um Fehler zu vermeiden), und sobald dies erledigt ist, oder wenn Sie unter Linux arbeiten, entweder play.bat/sh oder remote-play.bat/sh um es auszuführen.
Für Windows-Benutzer ist es am einfachsten, das unten stehende Offline-Installationsprogramm zu verwenden.
KoboldAI konfiguriert nun automatisch seine Abhängigkeiten und startet. Alles ist in seiner eigenen Conda-Laufzeitumgebung enthalten, sodass wir Ihr System nicht überladen. Die Dateien befinden sich im Laufzeitunterordner. Wenn Sie zu irgendeinem Zeitpunkt eine Neuinstallation der Laufzeit erzwingen möchten, können Sie dies mit der Datei install_requirements.sh tun. Sie können dies zwar manuell ausführen, dies ist jedoch nicht erforderlich.
Aufgrund der großen Unterschiede zwischen der vorhandenen Softwarekonfiguration und den Systemen unserer Benutzer können wir keine Schritt-für-Schritt-Anleitung für die manuelle Installation bereitstellen.
Wenn Sie KoboldAI manuell installieren möchten, benötigen Sie einige Kenntnisse in der Python-/Conda-Paketverwaltung, um einen der folgenden Schritte manuell ausführen zu können:
AMD-GPUs verfügen über eine schlechte Rechenunterstützung. Dies funktioniert derzeit nicht unter Windows und nur für einige ausgewählte Linux-GPUs. Eine Liste der kompatiblen GPUs finden Sie hier. Jede GPU, die nicht aufgeführt ist, funktioniert garantiert nicht mit KoboldAI und wir können keinen ordnungsgemäßen Support für GPUs bieten, die nicht mit den von uns benötigten ROCm-Versionen kompatibel sind. Stellen Sie sicher, dass Sie ROCm zunächst mithilfe einer Anleitung für Ihre Distribution auf Ihrem Linux-System installieren. Anschließend können Sie den üblichen Linux-Anweisungen oben folgen.
Es gibt mehrere Dinge, die bei der Art und Weise, wie Python mit seinen Abhängigkeiten umgeht, schief gehen können. Leider haben wir nicht für jedes Szenario direkte Schritt-für-Schritt-Lösungen, aber es gibt ein paar gängige Lösungen, die Sie ausprobieren können.
Dies ist IMMER entweder ein Download-/Installationsfehler oder ein Konflikt mit anderen Python-Versionen. Dies kommt sehr häufig vor, wenn Benutzer während der Installation die Option „Unterordner“ gewählt haben und KoboldAI an einem Ort abgelegt haben, der Leerzeichen im Pfad enthält. Wenn ein Antivirenprogramm die Installation in einer Sandbox blockiert oder die Downloads auf andere Weise stört, auf Systemen mit wenig Speicherplatz oder wenn Ihr Betriebssystem nicht für lange Dateipfade konfiguriert wurde (das Installationsprogramm führt dies unter Windows 10 und höher durch, wenn Sie es als Administrator ausführen, oder auf andere Weise). als Windows 10 wird von unseren Installationsprogrammen nicht unterstützt).
Ein weiterer Grund, warum die Installation möglicherweise fehlgeschlagen ist, besteht darin, dass auf Ihrem Computer widersprüchliche Python-Installationen vorhanden sind. Wenn Sie die Windows-Taste + R drücken und %appdata% in das Dialogfeld „Ausführen“ eingeben, wird der Ordner „Python installiert Abhängigkeiten auf einigen Systemen“ geöffnet. Wenn sich an diesem Speicherort ein Python-Ordner befindet, benennen Sie diesen Ordner um und versuchen Sie erneut, das Installationsprogramm auszuführen. Es sollte nun nicht mehr an bestehenden Abhängigkeiten hängen bleiben. Probieren Sie das Spiel aus und sehen Sie, ob es gut funktioniert. Wenn dies der Fall ist, können Sie versuchen, den Ordner wieder umzubenennen, um zu sehen, ob er weiterhin funktionsfähig ist.
Der dritte Grund, warum die Installation möglicherweise fehlgeschlagen ist, besteht darin, dass Sie aus anderen Gründen Conda/Mamba auf Ihrem System haben. In diesem Fall empfehlen wir, entweder Ihre vorhandenen Installationen von Python/Conda zu entfernen, wenn Sie sie nicht benötigen, und unser Installationsprogramm erneut zu testen. Oder verwenden Sie Conda selbst mit unseren gebündelten Umgebungsdateien, damit es seine Laufzeit manuell erstellen kann. Denken Sie daran, dass Sie NIEMALS play.bat verwenden sollten, wenn Sie den manuellen Weg wählen, sondern stattdessen aiserver.py direkt ausführen sollten .
Generell gilt: Je weniger Python-Versionen Sie auf Ihrem System haben, desto höher sind die Chancen auf eine korrekte Installation. Wir versuchen ständig, diese Installationskonflikte in unseren Installationsprogrammen zu entschärfen, aber für einige Benutzer können wir noch nicht alle Konflikte vermeiden.
Der Fehler „GPU nicht gefunden“ kann zwei Ursachen haben: Entweder verfügen Sie nicht über eine geeignete Nvidia-GPU (sie benötigt Compute Capability 5.0 oder höher, um KoboldAI spielen zu können). Ihre Nvidia-GPU wird von KoboldAI unterstützt, jedoch nicht von der neuesten Version von CUDA. Ihre Nvidia-GPU wird noch nicht von der neuesten Version von CUDA unterstützt oder Sie haben einen Abhängigkeitskonflikt wie die oben genannten.
Wie bei Python-Versionskonflikten empfehlen wir, CUDA von Ihrem System zu deinstallieren, wenn Sie es manuell installiert haben und es für nichts anderes benötigen, und es erneut zu versuchen. Wenn Ihre GPU CUDA10 benötigt, um zu funktionieren, öffnen Sie „environmentsfinetuneanon.yml“ und fügen Sie eine Zeile mit der Aufschrift „cudatoolkit=10.2“ unter „dependencies“ hinzu: . Danach können Sie das Installationsprogramm erneut ausführen (wählen Sie die Option zum Löschen der vorhandenen Dateien) und es lädt eine CUDA10-kompatible Version herunter.
Wenn Sie nicht über eine geeignete Nvidia-GPU verfügen, die auf CUDA10 oder höher läuft und Compute Capabilities 5.0 oder höher unterstützt, können wir Ihnen nicht dabei helfen, das Spiel auf der GPU zu erkennen. Es sei denn, Sie folgen unserem ROCm-Leitfaden mit einer kompatiblen AMD-GPU.
Wenn Sie diese Fehlermeldung erhalten, haben Sie entweder nicht den richtigen Ordner für Ihr benutzerdefiniertes Modell ausgewählt oder das heruntergeladene Modell ist (noch) nicht mit KoboldAI kompatibel. Es gibt einige Modelle, die kompatibel sind und eine pytorch_model.bin-Datei bereitstellen, aber nicht alle erforderlichen Dateien liefern. Versuchen Sie in diesem Fall, ein kompatibles Modell der gleichen Art herunterzuladen (z. B. ein anderes GPT-Neo, wenn Sie ein GPT-Neo-Modell heruntergeladen haben) und ersetzen Sie die Datei pytorch_model.bin durch die Datei, die Sie ausführen möchten. Die Chancen stehen gut, dass das gut funktionieren wird.
Softprompts (in anderen Produkten auch als Module bezeichnet) sind Add-ons, die die Ausgabe vorhandener Modelle ändern können. Sie können beispielsweise einen Softprompt laden, der die KI auf ein bestimmtes Thema und einen bestimmten Stil ausrichtet, beispielsweise Transkripte Ihrer Lieblingsfernsehsendung.
Da diese Softprompts häufig auf bestehenden Franchises basieren, bündeln wir derzeit aus urheberrechtlichen Gründen keine davon mit KoboldAI (wir möchten nicht das gesamte Projekt gefährden). Schauen Sie sich stattdessen Community-Ressourcen wie #softprompts auf dem KoboldAI Discord oder dem von der Community gehosteten Mirror an.
Auf diese Weise sind wir besser vor DMCA-Ansprüchen geschützt, da Dinge einfacher entfernt werden können als direkt auf Github. Wenn Sie ein urheberrechtsfreies Softprompt haben, das Sie von Grund auf erstellt haben und das nicht auf vorhandener IP basiert und die Sie gerne offiziell mit KoboldAI gebündelt sehen würden, stellen Sie eine Pull-Anfrage mit Ihrem Softprompt.
Das Training von Softprompts kann kostenlos mit dem Easy Softprompt Tuner durchgeführt werden. In diesem Fall können Sie die meisten Einstellungen auf den Standardeinstellungen belassen. Ihre Quelldaten müssen ein Ordner mit Textdateien sein, die UTF-8-formatiert sind und Unix-Zeilenenden enthalten.
Benutzerskripte sind Skripte, die Aufgaben in KoboldAI automatisieren oder das Verhalten/Eingabe/Ausgabe der KI ändern können.
Die Skripterstellung erfolgt in LUA5.4 (Lua muss nicht separat installiert werden, solange Sie alle Python-Anforderungen erfüllen) und verfügt über Sandboxing, um Sie vor bösartigem Verhalten zu schützen. Trotz dieser Maßnahmen empfehlen wir Ihnen dringend, Benutzerskripte nur von Orten auszuführen, denen Sie vertrauen und/oder die Sie verstehen. Andernfalls wenden Sie sich an die Community, um Ratschläge zur Sicherheit des Skripts zu erhalten.
Im Ordner „userscripts“ finden Sie unsere Kaipreset-Skripte. Hierbei handelt es sich um Standardskripte, von denen wir glauben, dass sie für unsere Benutzer nützlich sind. Diese Skripte werden automatisch überschrieben, wenn Sie KoboldAI aktualisieren. Wenn Sie diese Skripte ändern möchten, stellen Sie sicher, dass Sie sie zuerst in etwas anderes umbenennen, das kein Kaipreset enthält, damit Ihre Änderungen nicht verloren gehen. Diese Skripte reichen von einem „You Bias“-Filter, der verhindert, dass die KI Charaktere als Sie anspricht. Möglichkeiten, die KI daran zu hindern, Wörter, Wortersetzungen und mehr zu verwenden.
Zusammen mit unseren voreingestellten Skripten liefern wir im Beispielordner auch Beispiele aus, die lediglich der Demonstration dienen und Ihre Nutzung von KoboldAI nicht verbessern. Um diese Skripte zu verwenden, stellen Sie sicher, dass Sie sie aus dem Beispielordner verschieben, bevor Sie das Skript verwenden oder ändern.
Schließlich sind alle Funktionen unserer Userscript-API in den API-Dokumentationsdateien im Userscripts-Ordner dokumentiert.
Beachten Sie bei unseren TPU-Versionen, dass Skripte, die das KI-Verhalten ändern, auf einer anderen Verarbeitungsmethode basieren, die langsamer ist, als wenn Sie diese Benutzerskripte deaktiviert lassen, selbst wenn Ihr Skript diesen Modifikator nur sporadisch verwendet. Wenn Sie ein Skript teilweise mit voller Geschwindigkeit nutzen möchten, können Sie „No Gen Modifiers“ aktivieren, um sicherzustellen, dass die Teile, die die TPU verlangsamen würden, nicht aktiv sind.
KoboldAI verfügt über eine REST-API, auf die Sie zugreifen können, indem Sie /api zu der von Kobold bereitgestellten URL hinzufügen (z. B. http://127.0.0.1:5000/api).
Wenn Sie diesen Link in einem Browser aufrufen, gelangen Sie zur interaktiven Dokumentation.
Dieses Projekt enthält Arbeiten der folgenden Mitwirkenden:
Sowie verschiedene Modellschöpfer, die in der Nähe ihrer Modelle aufgeführt sind, und alle Tester, die dazu beigetragen haben, dies zu ermöglichen!
Haben wir Ihren Beitrag verpasst? Fühlen Sie sich frei, einen Commit zu geben, der Ihrem Namen dieser Liste hinzugefügt wird.
Koboldai ist mit einer AGPL -Lizenz lizenziert. Kurz gesagt, dies bedeutet, dass es von jedem für jeden Zweck verwendet werden kann. Wenn Sie sich jedoch entscheiden, eine öffentlich verfügbare Instanz vorzunehmen, haben Ihre Benutzer Anspruch auf eine Kopie des Quellcode, einschließlich aller von Ihnen vorgenommenen Änderungen (die durch eine Schnittstelle verfügbar sein müssen, z. B. eine Schaltfläche auf Ihrer Website), können Sie möglicherweise auch Verteilt dieses Projekt nicht in einem Formular, das den Quellcode nicht enthält (z. B. das Kompilieren / Verschlüsseln des Code Wenn Sie auch eine separate bereitstellen Archiv mit dem Quellcode.).
Umamba.exe ist aus Gründen der Bequemlichkeit gebündelt, weil wir festgestellt haben, dass viele unserer Benutzer Probleme mit den Download -Methoden der Befehlszeile hatten, es ist nicht Teil unseres Projekts und fällt nicht unter die AGPL -Lizenz. Es ist unter der BSD-3-Klausel-Lizenz lizenziert. Andere Dateien mit unterschiedlichen Lizenzen haben in der Datei eine Referenz oder eingebettete Version dieser Lizenz. Es wurde von https://anaconda.org/conda-forge/micromamba/files bezogen.
