ai companion

KI-Begleiter v1

Eine einzige kleine Binärdatei mit allen Funktionen, die Sie brauchen!

AI Companion ist ein Projekt, das eine schnelle, einfache, leichte und bequeme Möglichkeit bieten soll, KI-Chatbots auf Ihrem lokalen Computer zu erstellen. Es erfordert keine externe API und keine Installation von Bibliotheken. Sie installieren einfach die Binärdatei, die Ihrem Betriebssystem entspricht System und Gerät, laden Sie das ausgewählte Modell herunter und Sie können das Tool verwenden als: WebUI zum Chatten mit LLM, WebUI für Rollenspiele mit einem KI-Charakter oder als API für Ihre anderen Projekte, die einen KI-Chatbot erfordern.

Das Projekt umfasst viele einzigartige Funktionen, wie Kurzzeitgedächtnis, CUDA-, OpenCL- und Metal-Unterstützung, Langzeitgedächtnis, Dialogoptimierung, Zeiterkennung, Lernen durch Chatten, die Möglichkeit, als REST-API zu arbeiten, Zeichenkarten zu lesen, einfache Die benutzerfreundliche WebUI ermöglicht Ihnen das Bearbeiten von Daten, die Konfiguration sowie das Senden, Bearbeiten und Löschen von Nachrichten.

Installation

Laden Sie hier die für Ihr Betriebssystem und Gerät geeignete Binärdatei herunter (z. B. ai-companion-windows-cuda.exe ) und installieren Sie dann das llm-Modell mit der Erweiterung .gguf (z. B. diese). Als nächstes starten Sie die Binärdatei von ai-companion. Öffnen Sie Ihren Webbrowser unter http://localhost:3000 und Sie sehen AI Companion WebUI. Klicken Sie anschließend auf das Zahnradsymbol auf der Website, gehen Sie zu config und ersetzen Sie Path to your Large Language Model (LLM) durch path zu Ihrem .gguf- Modell auf Ihrem Laufwerk hinzufügen. Anschließend können Sie mit Ihrem Begleiter chatten!

Merkmale

• funktioniert lokal – erfordert keine API-Schlüssel für andere Dienste, wodurch die Nutzung völlig kostenlos ist (abgesehen von den Stromkosten – Ihr Computer muss irgendwie funktionieren), und erfordert auch kein Internet, um zu funktionieren
• Datenschutz – alle Konversationen werden lokal in der SQLite-Datenbank gespeichert, was bedeutet, dass Ihre Konversationen oder die Eigenschaften Ihrer KI nur auf Ihrem Computer bleiben
• API – Sie können es als Backend für Ihre anderen Projekte verwenden, die LLMs, benutzerdefinierte KI-Chatbots oder benutzerdefinierte KI-Charaktere erfordern
• Geschwindigkeit – geschrieben in Rust zeigt gute Effizienz in Bezug auf CPU, GPU (nichts verlangsamt Ihre Generation) und RAM (Sie müssen keine schwächeren KI-Modelle verwenden)
• Benutzerfreundlichkeit – alles kann in der Web-Benutzeroberfläche geändert werden und alles wird in einer einzigen Binärdatei kompiliert, die auf Ihrem Computer gestartet werden kann (Sie müssen nicht mit Hunderten verwirrender Dateien herumspielen und sich nicht mit der falschen Bibliothek/dem falschen Interpreter herumschlagen /Framework-Versionen)
• Anpassung – Sie können den Namen, die Persönlichkeit, das Aussehen und die erste gesendete Nachricht der KI ändern. Auch das Kurzzeit- und Langzeitgedächtnis der KI kann verändert werden
• Kurzzeitgedächtnis – Künstliche Intelligenz merkt sich kürzlich empfangene/gesendete Nachrichten
• Langzeitgedächtnis – KI kann sich mithilfe des Langzeitgedächtnisses Gespräche auch nach Tausenden von Aufforderungen später merken und Dinge mit verschiedenen Wörtern, Phrasen, Sätzen oder sogar Daten verknüpfen
• Echtzeit-Lernen – beim Chatten mit der KI ist sie in der Lage, „Erinnerungen“ zu schaffen und mehr über die Menschen zu erfahren, mit denen sie chattet (was ihr Beruf ist, was sie gerne essen, trinken usw.)
• Fütterung der KI mit benutzerdefinierten Daten – mithilfe der API ist es möglich, beispielsweise Fragmente von Dokumenten, Artikeln, Liedtexten und Gedichten im Langzeitgedächtnis der KI zu speichern
• Rollenspiel – Der KI-Chatbot kann (falls aktiviert) Aktionen zwischen Sternchen (*) ausführen, z. B. näher kommen , Hallo winken
• Sie können Zeichendateien im .json- oder .png-Format (Charakterkarten) laden. Mit diesem Tool können Sie beispielsweise Ihre eigenen erstellen
• Sie können {{char}} und {{user}} in der Persona des Begleiters, im Beispieldialog, in der ersten Nachricht und in der Benutzerpersönlichkeit verwenden (wenn Sie den Benutzernamen oder den Namen des Begleiters ändern, müssen Sie diese nicht ändern, sie werden automatisch geändert).
• Zeit – AI Chatbot kann vom Computer Informationen über die aktuelle Uhrzeit erhalten und sich in seinem Langzeitgedächtnis merken, an welchen Tagen bestimmte Gespräche stattgefunden haben

Unterstützte KI-Modelle

kleine Liste getesteter und funktionierender KI-Modelle:

• Mistral 7B
• Zephyr 7B Beta
• Lama 3 8B Unterweisen

Und viele, viele andere LLM-Modelle im .gguf-Format

API-Dokumentation

Die API-Dokumentation finden Sie hier

Projekte basierend auf ai-companion Backend/API/Bibliothek

• Lokaler Assistent – ​​virtueller Assistent mit künstlicher Intelligenz und LLM
• Matrix Companion Bot – KI-basierter Chatbot, der auf dem Matrix-Protokoll läuft

Verwendung als Python-Bibliothek (Veraltet)

Wenn Sie nach einer Python-Bibliothek suchen, mit der Sie das ai-companion-Backend in Ihren Projekten verwenden können, finden Sie sie hier ai-companion-py

Zusammenstellung aus Quellcode:

Um eine ausführbare Datei zu erstellen, benötigen Sie: Node.js und npm, Rust und Cargo

Damit die Software mit CUDA, OpenCL und Metal funktioniert, müssen Sie auch ähnliche Schritte wie in dieser Dokumentation befolgen

Erstellen Sie einen Git-Klon des Repositorys:

 git clone https://github.com/Hukasx0/ai-companion

Gehe in den Ordner

 cd ai-companion/

Knotenmodule installieren

 npm i

Kompilieren Sie alles in eine Binärdatei

 npm run build-full

oder

Kompilieren Sie alles in eine Binärdatei mit CUDA-Unterstützung

 npm run build-full-cuda

oder

Kompilieren Sie alles in eine Binärdatei mit OpenCL-Unterstützung

 npm run build-full-opencl

oder

Kompilieren Sie alles in eine Binärdatei mit Metal-Unterstützung

 npm run build-full-metal

(Nach der Kompilierung sollte sich die Binärdatei in ai-companion/backend/target/release befinden.)

und gehen Sie dann wie bei der Installation vor