JARVIS ChatGPT

Jarvis-Chatgpt: Ein mit Jarvis 'Stimme ausgestatteter Konversationsassistent

Ein sprachbasierter interaktiver Assistent, der mit einer Vielzahl von synthetischen Stimmen ausgestattet ist (einschließlich Jarvis 'Stimme von Ironman)

Bild von Midjourney KI

Haben Sie schon einmal davon geträumt, hyper-intelligent-System-Tipps zu fragen, um Ihre Rüstung zu verbessern? Jetzt kannst du! Nun, vielleicht nicht der Rüstungsteil ... Dieses Projekt nutzt Openai Whisper, Openai Chatgpt und IBM Watson.

Projektmotivation:

Oft kommen Ideen im schlimmsten Moment und sie verblassen, bevor Sie die Zeit haben, sie besser zu erkunden. Ziel dieses Projekts ist es, ein System zu entwickeln, das in der Quasi-Real-Zeit Tipps und Meinungen über alles gibt, was Sie fragen. Der ultimative Assistent kann von jedem autorisierten Mikrofon in Ihrem Haus oder Ihrem Telefon zugegriffen werden. Er sollte ständig im Hintergrund ausgeführt werden. Wenn Sie beschworen werden, sollte es in der Lage sein, aussagekräftige Antworten (mit einer schlechten Stimme) sowie die Schnittstelle mit dem PC oder einem Server zu generieren und Dateien zu speichern/zu lesen/zu schreiben, auf die später zugegriffen werden kann. Es sollte in der Lage sein, Forschung zu betreiben, Material aus dem Internet zu sammeln (Inhalte aus HTML -Seiten extrahieren, YouTube -Videos transkribieren, wissenschaftliche Arbeiten finden ...) und Zusammenfassungen, die als Kontext verwendet werden können, um fundierte Entscheidungen zu treffen. Außerdem könnte es mit einigen externen Geräten (IoT) verkaufen, aber das ist extra.

DEMO:

2023-04-11.23-20-03_trim.mp4

---

14. Juli 2023 Update: Forschungsmodus

Ich kann Finnaly den ersten Entwurf des Forschungsmodus teilen. Diese Modalität wurde für Menschen angenommen, die sich oft mit Forschungsarbeiten befassten.

• Wechseln Sie in den Forschungsmodus, indem Sie sagen: "Wechseln Sie in den Forschungsmodus"
• Initialisieren Sie einen neuen Arbeitsbereich wie folgt: "Initialisieren Sie einen neuen Arbeitsbereich über Kohlefaseranwendungen in der Raumfahrzeugbranche" . Ein Arbeitsbereich ist ein Ordner, der die Ergebnisse der Forschung sammelt und organisiert. Dieses Protokoll ist in 3 Unterroutinen unterteilt:
  1. Kernpapieridentifikation: Verwenden Sie die Semantic Scholar API, um einige stark relevante Papiere zu identifizieren.
  2. Kernausdehnung: Findet für jedes Papier einige Vorschläge und behalte dann nur die Vorschläge, die mindestens 2 Papier ähnlich zu sein scheinen.
  3. Refy -Expansion: Verwenden Sie das Refy -Vorschlag -Paket, um die Ergebnisse zu vergrößern.
• Finden Sie Vorschläge wie: "Finden Sie Vorschläge, die mit dem Titel auf das Papier schlanken ..."
• Download: 'Download das Papier mit Titel ...'
• Fragen Sie Ihre Datenbank ab wie: "Was ist der Autor des Papiers mit dem Titel ...?" "Was sind die experimentellen Bedingungen für das Papier mit Titel ...?"

PS: Dieser Modus ist nicht super stabil und muss bearbeitet werden

PPS: Dieses Projekt wird für einige Zeit eingestellt, da ich bis 2024 an meiner These arbeiten werde. Es gibt jedoch bereits so viele Dinge, die verbessert werden können, damit ich zurück bin!

Was Sie brauchen:

HAFTUNGSAUSSCHLUSS:
Das Projekt könnte Ihr OpenAI -Guthaben konsumieren, was zu einer unerwünschten Abrechnung führt.
Ich übernehme keine Verantwortung für unerwünschte Anklagen.
Berücksichtigen Sie, dass Einschränkungen des Kreditverbrauchs auf Ihrem OpenAI -Konto festgelegt werden.

• Ein OpenAI -Konto und API -Schlüssel; (Überprüfen Sie die FAQs unten auf die Alternativen)
• Picovoice -Konto und ein kostenloser AccessKey; (optional)
• ElfLabs -Konto und kostenloser API -Schlüssel (optional) ;
• Langchain-API-Schlüssel zum Websurfen (Nachrichten, Wetter, Serpapi, Google-Serp, Google-Such ... Sie sind alle kostenlos)
• ffmpeg;
• Virtuelle Python -Umgebung (Python> = 3,9 und <3,10);
• Ein gewisses Anerkennung für Chatgpt (Sie können drei Monate kostenloser Nutzung erhalten, indem Sie sich bei OpenAI anmelden) (vorgeschlagen) ;
• CUDA -Version> = 11,2;
• Ein IBM Cloud-Konto, um ihre Cloud-basierten Text-zu-Sprach-Modelle (Tutorial) (optional) auszunutzen ;
• Eine (einigermaßen) schnelle Internetverbindung (der größte Teil des Codes basiert auf API, sodass eine langsamere Verbindung zu einer längeren Reaktion führen kann);
• Mikrofon und Sprecher;
• CUDA-fähige Grafikmotor (meine Torchversion: 2.0 und CUDA V11.7 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 );
• Geduld ?

Sie können sich auf das neue setup.bat verlassen.

GitHub -Übersicht

Hauptskript , das Sie ausführen sollten: openai_api_chatbot.py Wenn Sie die neueste Version der OpenAI -API in dem Demos -Ordner verwenden möchten, finden Sie einige Anleitungen für die im Projekt verwendeten Pakete. Wenn Sie Fehler haben, können Sie diese Dateien zuerst überprüfen, um das Problem anzusprechen. Meistens wird im Assistantordner: get_audio.py gespeichert, um alle Funktionen für die MIC -Interaktionen zu verarbeiten, tools.py implementiert einige grundlegende Aspekte des virtuellen Assistenten, voice.py beschreibt eine (sehr) grobe Sprachklasse. Agents.py GEFAHREN Sie den Langchain -Teil des Systems (hier können Sie Werkzeuge aus den Toolkits der Agenten hinzufügen oder entfernen)
Die verbleibenden Skripte sind ergänzend für die Sprachgenerierung und sollten nicht bearbeitet werden.

Installations -Tutorial

Automatische Installation

Sie können setup.bat ausführen, wenn Sie unter Windows/Linux ausgeführt werden. Das Skript führt jeden Schritt der manuellen Installation nacheinander aus. Beziehen Sie sich auf diejenigen, falls das Verfahren fehlschlagen sollte.
Die automatische Installation wird auch die Vicuna -Installation (Vicuna Installation Guide) ausführen

Manuelle Installation

Schritt 1: Installation, Konten, APIs ...

Umfeld

1. Machen Sie eine neue, leere virtuelle Umgebung mit Python 3.8 und aktivieren Sie sie (. Venv_name scripts aktivieren);
2. pip install -r venv_requirements.txt ; Dies könnte einige Zeit dauern; Wenn Sie Konflikte in bestimmten Paketen begegnen, installieren Sie sie manuell ohne die ==<version> ;
3. Installieren Sie manuell pytorch gemäß Ihrer CUDA -Version.
4. Kopieren und fügen Sie die Dateien ein, die Sie im Ordner whisper_edits finden, in den whisper Ihrer Umgebung ( venv lib Site-Packages Whisper ) . Diese Änderungen werden dem Whisper-Modell nur ein Attribut hinzufügen, um auf die Dimension leichter zuzugreifen.
5. TTS installieren;
6. Führen Sie ihr Skript aus und überprüfen Sie, ob alles funktioniert (es sollte einige Modelle herunterladen) (Sie können alternativ demos/tts_demo.py ausführen).
7. Benennen Sie den TTS -Ordner um oder löschen Sie den Assistenten und andere Skripte von diesem Repo
8. Installieren Sie Vicuna nach den Anweisungen im Ordner Vicuna oder durch Ausführen:
   

   cd Vicuna
call vicuna.ps1
   

   Bei manuellen Anweisungen werden Sie angewiesen, den Vicuna -Installationshandbuch zu befolgen
9. Fügen Sie alle Ihre Schlüssel in die env.txt -Datei ein und benennen Sie sie in .env um (ja, entfernen Sie die TXT -Erweiterung).
10. Überprüfen Sie, ob alles funktioniert (folgende)

Überprüfungen

• Überprüfen Sie, ob Ihre Grafikmotor und die CUDA -Version mit Pytorch kompatibel sind, indem Sie torch.cuda.is_available() und torch.cuda.get_device_name(0) in Pyhton; .
• tests.py rennen.py. Diese Datei versucht, grundlegende Vorgänge auszuführen, die Fehler aufnehmen können.
• [WARNUNG] Überprüfen Sie die folgenden FAQs, wenn Sie Fehler haben.
• Sie können die Fehlerquellen überprüfen, indem Sie Demos im Demos -Ordner ausführen.

Schritt 2: Sprachunterstützung

• Um Antworten in Ihrer Sprache gesprochen zu haben, sollten Sie zuerst überprüfen, ob Ihre Sprache vom Sprachgenerator unter https://cloud.ibm.com/docs/text-to-speech?topic=Text-to-Speech-Voices unterstützt wird.
• Wenn es unterstützt wird, fügen Sie die Sprachen in VirtualAssistant.__init__() ;
  

• Denken Sie daran: Das geladene Flüster ist das mittelgroße. Wenn es in Ihrer Sprache schlecht funktioniert, upgraden Sie auf das größere in der __main__() bei whisper_model = whisper.load_model("large") ein; Aber ich hoffe, Ihr GPU -Gedächtnis ist ebenfalls groß.

Schritt 3: Laufen ( openai_api_chatbot.py ):

Beim Ausführen werden viele Informationen angezeigt. Ich bin ständig bemüht, die Lesbarkeit der Ausführung zu verbessern. Das gesamte Projekt ist eine riesige Beta, die geringfügige Abweichungen von den folgenden Bildschirmen vergeben. Wie auch immer, das passiert allgemein, wenn Sie "Run" treffen:

• Vorläufige Initialisierungen finden statt, Sie sollten ein Glockenspiel hören, wenn der Assistent bereit ist.
• Wenn Sie auf das Auslösen von Wörtern warten, müssen Sie Jarvis sagen, um den Assistenten zu beschwören. Zu diesem Zeitpunkt beginnt ein Gespräch und Sie können in jeder gewünschten Sprache sprechen (wenn Sie Schritt 2 befolgen). Das Gespräch endet, wenn Sie 1) Sagen Sie ein Stoppwort 2) Sagen Sie etwas mit einem Wort (wie "OK") 3, wenn Sie mehr als 30 Sekunden aufhören
  

• Nachdem das magische Wort gesagt wurde, sollte das Wort zuhören ... dann erscheinen. An diesem Punkt können Sie Ihre Frage stellen. Wenn Sie fertig sind, warten Sie einfach (3 Sekunden), bis die Antwort eingereicht wird.
• Das Skript wandelt den aufgezeichneten Audio mit Flüstern in Text um.
• Der Text wird analysiert und eine Entscheidung getroffen. Wenn der Assistent der Ansicht ist, dass er Maßnahmen ergreifen muss, um zu antworten (z.
• Anschließend erweitert das Skript dann die chat_history mit Ihrer Frage, sendet eine Anfrage mit der API und aktualisiert die Geschichte, sobald es eine vollständige Antwort von CHATGPT erhält (dies kann bis zu 5-10 Sekunden dauern. Erwägen Sie, eine kurze Antwort ausdrücklich zu fragen, ob Sie sich eilig haben).
• Die Funktion say() führt Sprachverdoppel aus, um mit Jarvis/jemandes Stimme zu sprechen. Wenn das Argument nicht in englischer Sprache ist, sendet IBM Watson die Antwort von einem ihrer schönen Text-zu-Sprache-Modelle. Wenn alles fehlschlägt, stützen sich die Funktionen auf pyttsx3, was eine schnelle, aber nicht so coole Alternative ist.

• Wenn eines der Stop -Keywords angegeben werden, wird das Skript Chatgpt auffordert, der Konversation einen Titel zu geben und den Chat in einer .txt -Datei mit dem Format "CurrentDate_title.txt" zu speichern.
• Der Assistent schläft dann wieder ein;

Ich machte einige Eingabeaufforderungen und schloss das Gespräch

Schlüsselwörter:

• Um den Chat anzuhalten oder zu retten, sagen Sie einfach irgendwann "Danke".
• Jarvis Voice zu beschwören, sagen Sie einfach irgendwann "Jarvis";

Nicht ideal, das ich kenne, aber vorerst funktioniert

Geschichte:

• [11 - 2022] Liefern Sie Chat -ähnliche Eingabeaufforderungen von Python von einer Tastatur
• [12 - 2022] Liefern Sie chat -ähnliche Eingabeaufforderungen von Python mit Stimme
• [2 - 2023] Internationale Sprachunterstützung für Eingabeaufforderung und Antworten
• [3 - 2023] Jarvis Voice eingerichtet
• [3 - 2023] Gespräch sparen
• [3 - 2023] Hintergrundausführung und Sprachbeschwörung
• [3 - 2023] Verbesserung der angezeigten Informationen zur Ausgabe, die angezeigt werden
• [3 - 2023] Verbessern Sie die Sprachausführungen von Jarvis durch schnelle Vorverarbeitung
• [4 - 2023] Einführung: Project Memory Store -Chats, Ereignisse, Zeitlinien und andere relevante Informationen, damit ein bestimmtes Projekt später vom Benutzer oder dem Assistenten selbst zugegriffen wird
• [4 - 2023] Erstellen Sie eine virtuelle Stack VirtualAssistant -Klasse mit Speicher und lokalem Speicherzugriff
• [4 - 2023] Fügen Sie in verschiedenen Stadien ein Tonfeedback hinzu (Chimes, Pieps ...)
• [4 - 2023] Internationale Sprachunterstützung für Sprachbefehle (Beta)
• [4-2023] ein Schritt-für-Schritt-Tutorial erstellen
• [4 - 2023] Bewegen Sie einige Verarbeitung vor Ort, um den Kreditverbrauch zu verringern: Vicuna: Ein neues, mächtiges Modell basierend auf Lama, und mit GPT -4 trainiert;
• [4 - 2023] Integrieren Sie sich in elf Laborstimmen für superausdrucksstarke Stimmen und herausragendes Klonen;
• [4 - 2023] Erweiterung der Sprachbefehle und -aktionen (machen Sie einen besseren aktiven Assistenten)
• [4 - 2023] Verbinden Sie das System mit dem Internet
• [6 - 2023] Verbinden Sie eine Papierdatenbank

Derzeit arbeiten an:

• DOC -Verarbeitungstools erweitern
• Finden Sie eine kostenlose Alternative für Langchain -Agenten

Follow:

• Reparieren des Chat -Länge -Fehlers (wenn der Chat zu lang ist, kann er nicht von Chatgpt 3.5 Turbo bearbeitet werden)
• Erweiterung des Gedächtnisses
• Absturzberichte
• Funktionen verfeinern

Warten auf Chatgpt4 bis:

• Fügen Sie multimodale Eingaben hinzu (dh "Glaubst du, 'das' [Halten eines Papierflugzeugs] könnte fliegen" -> Kamera -> CHATGPT4 -> "Sie sollten die Spitze der Flügel verbessern").
• Projektspeicher auf Bilder, PDFs, Papiere erweitern ...

Weitere Einblicke finden Sie im UpdateHistory.md des Projekts.

Viel Spaß!

Fehler und FAQs

Kategorien: Installieren, allgemeine, Laufzeit

Installation: Ich habe widersprüchliche Pakete, während ich venv_requirements.txt installiere. Was soll ich tun?

1. Stellen Sie sicher, dass Sie die richtige Python -Version (3.7) auf dem .VenV (> Python --version mit der virtuellen Umgebung aktiviert haben) haben.
2. Versuchen Sie, die venv_requirements.txt zu bearbeiten und die Versionsanforderungen der belasteten Abhängigkeiten zu entfernen.
3. Entfernen Sie das Paket direkt aus der TXT -Datei und installieren Sie sie danach manuell.
   

Installation: Ich treffe einen Fehler beim Ausführen von openai_api_chatbot.py Sprichwort: TypeError: loadLibrary () Argument 1 muss STR sein, nicht keine Was ist los?

Das Problem ist das Flüstern. Sie sollten es manuell mit pip install whisper-openai

Installation: Ich kann 'openai.embeddings_utils' nicht importieren

1. Versuchen Sie, pip install --upgrade openai .
2. Dies geschieht, weil OpenAI ihre Mindestanforderungen erhöht hat. Ich hatte dieses Problem und gelöst durch manuelles Herunterladen von Emboddings_utils.py in ./<your_venv>/lib/site-packages/openai/

3. Wenn das Problem mit `` `datalib`` angewendet wird und ein Problem angewendet wird und ich Ihnen die fehlende Datei zur Verfügung stellen kann.

Installation: Ich begegne den Fehler modulenotFoundError: kein Modul mit dem Namen "<einige Modul>"

Anforderungen werden nicht jedes Commit aktualisiert. Dies kann jedoch Fehler erzeugen, Sie können die fehlenden Module schnell installieren. Gleichzeitig hält sie die Umgebung von Konflikten sauber, wenn ich neue Pakete probiere (und ich versuche viele davon).

Laufzeit: Ich begegne einen OOM -Speicher beim Laden des Flüstermodells. Was bedeutet es?

Dies bedeutet, dass das von Ihnen ausgewählte Modell für Ihren CUDA -Gerätespeicher zu groß ist. Leider können Sie nicht viel dagegen tun, außer ein kleineres Modell zu laden. Wenn das kleinere Modell Sie nicht befriedigt, möchten Sie möglicherweise "klarer" sprechen oder längere Aufforderungen stellen, um das Modell genauer vorhersagen zu lassen, was Sie sagen. Das klingt unpraktisch, aber in meinem Fall hat mein englischsprachiger Englisch stark verbessert :)

Laufzeit: Max Länge Token für Chatgpt-3,5-Turbo ist 4096, erhalten aber ... Token.

Dies ist ein Fehler, der noch vorhanden ist. Erwarten Sie nicht, jemals lange Gespräche mit Ihrem Assistenten zu führen, da er einfach genügend Erinnerung hat, um sich irgendwann an das gesamte Gespräch zu erinnern. Ein Fix befindet sich in der Entwicklung, es könnte darin bestehen, einen Ansatz mit Schiebern zu verfolgen, auch wenn dies zu einer Wiederholung einiger Konzepte führen könnte.

General: Ich habe meine OpenAI -Kredit/Demo beendet. Was kann ich tun?

1. Gehen Sie nur online. Der Preis ist nicht so schlimm und Sie könnten am Ende ein paar Dollar pro Monat zahlen, da die Preisgestaltung von der Nutzung abhängt (mit schweren Tests habe ich während meiner kostenlosen Testversion das Äquivalent von ~ 4 Dollar pro Monat konsumiert). Sie können Ihren monatlichen Tokenverbrauch Grenzen setzen.
2. Verwenden Sie einen Hybridmodus, in dem die kreditintensivsten Aufgaben lokal kostenlos ausgeführt werden und der Rest online ausgeführt wird.
3. Installieren Sie Vicuna und führen Sie den Offline -Modus nur mit begrenzter Leistung aus.

Allgemein: Wie lange wird dieses Projekt aktualisiert?

Im Moment (April 2023) arbeite ich fast ununterbrochen daran. Ich werde wahrscheinlich im Sommer eine Pause machen, weil ich an meiner These arbeiten werde.

Wenn Sie Fragen haben, können Sie mich kontaktieren, indem Sie ein Problem ansprechen, und ich werde mein Bestes tun, um so schnell wie möglich zu helfen.

Gianmarco Guarnier