lad gpt herunterladen - lad gpt -Quellcode herunterladen

lad gpt

AI-Quellcode

October 2023 Release

Herunterladen

Trainieren Sie ein Sprachmodell für Ihre WhatsApp-Chats

Überblick

Dieses Repository erleichtert das Training eines Sprachmodells auf Zeichen- oder Wortebene, das ausschließlich auf WhatsApp-Chatnachrichten basiert. Nach dem Modelltraining kann man mit der geschulten WhatsApp-Chatgruppe ein synthetisches Gespräch beginnen.

Chat-Nachrichten: Ich habe das Modell privat auf WhatsApp-Chats einer Gruppe mit >8 Millionen Zeichen trainiert. Die assets/input/chat.txt ist lediglich ein Platzhalter, der durch den eigentlichen Korpus der Chat-Nachrichten ersetzt werden muss.
Sprachmodell: Das Modell folgt eng der in „Attention Is All You Need“ (2017) von Vaswani et. eingeführten Architektur. al.. Auch die Pytorch-Implementierung des Modells ist stark von einem Video-Tutorial von Andrew Kaparty inspiriert.
Ergebnisse: Während die Gesamtleistung meines privat trainierten Modells eindeutig nicht mit Sota-Sprachmodellen vergleichbar ist, weist der generierte Text deutlich erkennbare sprachliche Muster und Vokabeln auf.

Ordnerstruktur

 |-- assets
|   |-- input
|   |   |-- chat.txt
|   |-- output
|   |   |-- contacts.txt
|   |   |-- vocab.txt
|   |   |-- train.pt
|   |   |-- valid.pt
|   |-- models
|   |   |--model.pt
|-- src
|   |-- chat.py
|   |-- model.py
|   |-- preprocess.py
|   |-- train.py
|   |-- utils.py
|-- config.py
|-- run.py

Beschreibung der Vermögenswerte:

assets/input/chat.txt: Die Eingabedatei muss ein exportierter WhatsApp-Chat (ohne Medien) sein.
assets/output/: Die codierten Trainings-/Validierungsdaten und das trainierte Modell werden in diese Lokalisierung geschrieben.
assets/models/model.pt: Trainiertes Pytorch-Modellobjekt.

Modulbeschreibung:

src/preprocess.py: Konvertiert Chat-Nachrichten in codierte PyTorch-Tensoren. Die Daten werden in Trainings- und Validierungssätze aufgeteilt.
src/model.py: Definiert die Sprachmodellklasse.
src/train.py: Enthält Code zum Trainieren des Sprachmodells.
src/chat.py: Enthält die Funktion für die Konversationsinteraktion mit dem Modell.
src/utils.py: Weitere nützliche Dienstprogrammfunktionen.
run.py: Das Hauptskript mit einem Argumentparser zum Aufrufen einer der drei Aktionen („Vorverarbeitung“, „Train“, „Chat“).
config.py: Parameter für Vorverarbeitung und Modelltraining werden aufgezeichnet.

So fangen Sie an

Installation:

 git clone https://github.com/bernhard-pfann/lad-gpt.git
cd lad-gpt
pip install -r requirements.txt

Um dieses Projekt vollständig nutzen zu können, benötigen Sie eine TXT-Datei, die Nachrichten aus einem WhatsApp-Chat enthält. Hier sind die Schritte zum Exportieren Ihres WhatsApp-Gruppenchats in eine TXT-Datei:

Für Android-Benutzer:

Öffnen Sie WhatsApp und navigieren Sie zum Gruppenchat: Öffnen Sie die WhatsApp-Anwendung auf Ihrem Android-Gerät und gehen Sie zu dem Gruppenchat, den Sie exportieren möchten.
Tippen Sie auf die drei Punkte: Diese befinden sich normalerweise in der oberen rechten Ecke des Chatfensters.
Mehr -> Chat exportieren: Wählen Sie „Mehr“ aus der Dropdown-Liste und dann „Chat exportieren“.
Wählen Sie „Ohne Medien“: Sie erhalten eine Option zum Ein- oder Ausschließen von Medien. Wählen Sie „Ohne Medien“, um nur die Textnachrichten zu exportieren.
Exportmethode auswählen: Sie werden aufgefordert, auszuwählen, wie Sie den Chat exportieren möchten. Sie können es an Ihre E-Mail-Adresse senden und von dort als TXT-Datei herunterladen.

Für iPhone-Benutzer:

Öffnen Sie WhatsApp und navigieren Sie zum Gruppenchat: Öffnen Sie die WhatsApp-Anwendung auf Ihrem iPhone und navigieren Sie zu dem Gruppenchat, den Sie exportieren möchten.
Tippen Sie auf den Gruppennamen: Dieser befindet sich oben im Chatfenster, um zu „Gruppeninformationen“ zu gelangen.
Scrollen Sie nach unten und exportieren Sie den Chat: Scrollen Sie nach unten und Sie sehen die Option „Chat exportieren“. Tippen Sie darauf.
Wählen Sie „Ohne Medien“: Es erscheint ein Popup mit der Frage, ob Sie Mediendateien einschließen möchten. Wählen Sie „Ohne Medien“.
Exportmethode auswählen: Wählen Sie eine Option zum Exportieren des Chats, beispielsweise per E-Mail. Anschließend können Sie die Textdatei von Ihrer E-Mail-Adresse herunterladen.

Sobald Sie die TXT-Datei haben, legen Sie sie im assets/input -Verzeichnis mit dem Namen chat.txt ab. Dann sind Sie startklar!

Terminalanweisungen

Sobald die Eingabedaten vorliegen, müssen die Chats in numerische Tensoren kodiert werden. Die codierten Daten werden außerdem in Trainings- und Validierungssätze unterteilt:

 python run.py preprocess

Um ein Sprachmodell von Grund auf und ausschließlich auf der Grundlage der codierten Chat-Daten zu trainieren. Legen Sie --update fest, falls Sie mit dem Training eines bereits vorhandenen Modells fortfahren möchten.