danGPT
Probieren Sie es unter https://dangpt.vercel.app/ aus.
Dieses Projekt zeigt, wie man KI-Dienste zusammenstellt und RAG (Retrieval Augmented Generation) mit generativer KI implementiert.
Hier ist eine Aufschlüsselung, wie es funktioniert:
- Außerhalb des Rahmens dieses Repos haben wir eine riesige Datenmenge zusammengestellt. In diesem Fall Dans Beiträge.
- Anschließend wandeln wir den gesamten Text, den wir durchsuchen möchten, mithilfe eines maschinellen Lernmodells in Vektoren (Zahlenlisten) um, das die Bedeutung im Text einem mehrdimensionalen numerischen Raum zuordnet. „Einbetten“ des Textes in den Vektorraum mithilfe eines „Einbettungsmodells“. In diesem Fall
text-embedding-3-small von OpenAI. - Anschließend speichern wir diese Vektoren in einer Vektordatenbank. Unsere bevorzugte Waffe ist hier AstraDB von DataStax.
Wenn ein Benutzer dann eine Anfrage sendet, gehen wir wie folgt vor:
- Wandeln Sie die Abfrage mit demselben Einbettungsmodell in einen Vektor um.
- Durchsuchen Sie die Vektordatenbank nach Vektoren, die dem Abfragevektor am ähnlichsten sind, oder nach Vektoren, die dem Abfragevektor im Dimensionsraum „nahe“ sind.
- Rufen Sie viele Originaltexte aus den ähnlichsten Vektoren ab.
- Nehmen Sie diese Originaltexte und geben Sie sie als Kontext in ein generatives KI-Modell ein. In diesem Fall
gpt-3.5-turbo von OpenAI. Das gleiche Modell hinter dem kostenlosen Kontingent von ChatGPT. - Das generative KI-Modell generiert dann eine Antwort basierend auf dem gegebenen Kontext und gibt vor, Dan zu sein.
Es ist erwähnenswert, dass dies nur eine alberne Demo eines Nebenprojekts ist und wahrscheinlich falsch ist. Es dient mehr der Bildung als allem anderen.
