Abrufen erweiterter Fragen und Antworten zu Ynet-Daten auf Hebräisch mit Amazon Bedrock unter Verwendung von LangChain und Amazon OpenSearch

Einführung

Die Beantwortung von Fragen (QA) ist eine wichtige Aufgabe, bei der es darum geht, Antworten auf sachliche Fragen zu extrahieren, die in natürlicher Sprache gestellt werden. Typischerweise verarbeitet ein QA-System eine Anfrage anhand einer Wissensdatenbank, die strukturierte oder unstrukturierte Daten enthält, und generiert eine Antwort mit genauen Informationen. Die Gewährleistung einer hohen Genauigkeit ist der Schlüssel zur Entwicklung eines nützlichen, zuverlässigen und vertrauenswürdigen Frage-Antwort-Systems, insbesondere für Anwendungsfälle in Unternehmen.

Generative KI-Modelle wie Amazon Titan, Anthropic Claude und AI21 Jurassic 2 nutzen Wahrscheinlichkeitsverteilungen, um Antworten auf Fragen zu generieren. Diese Modelle werden auf riesigen Mengen an Textdaten trainiert, wodurch sie vorhersagen können, was als nächstes in einer Sequenz kommt oder welches Wort auf ein bestimmtes Wort folgen könnte. Allerdings sind diese Modelle nicht in der Lage, genaue oder deterministische Antworten auf jede Frage zu liefern, da die Daten immer ein gewisses Maß an Unsicherheit aufweisen.

Unternehmen müssen domänenspezifische und proprietäre Daten abfragen und die Informationen zur Beantwortung von Fragen und allgemeiner von Daten verwenden, für die das Modell nicht trainiert wurde.

Muster

In diesem Repo werden wir das folgende QS-Muster untersuchen:

Wir verwenden Retrieval Augmented Generation, eine Verbesserung gegenüber der ersten, bei der wir unsere Fragen mit möglichst viel relevantem Kontext verknüpfen, der wahrscheinlich die Antworten oder Informationen enthält, nach denen wir suchen. Die Herausforderung hierbei: Es gibt eine Grenze dafür, wie viele Kontextinformationen verwendet werden können, die durch die Token-Grenze des Modells bestimmt wird. RAG-Fragen und Antworten

Dies kann durch den Einsatz von Retrival Augmented Generation (RAG) überwunden werden.

So funktioniert Retrieval Augmented Generation (RAG).

RAG kombiniert die Verwendung von Einbettungen zur Indexierung des Dokumentenkorpus zum Aufbau einer Wissensdatenbank und die Verwendung eines LLM zum Extrahieren der Informationen aus einer Teilmenge der Dokumente in der Wissensdatenbank.

Als Vorbereitungsschritt für RAG werden die Dokumente, die die Wissensdatenbank aufbauen, in Blöcke fester Größe (entsprechend der maximalen Eingabegröße des ausgewählten Einbettungsmodells) aufgeteilt und dann an das Modell übergeben, um den Einbettungsvektor zu erhalten. Die Einbettung wird zusammen mit dem Originalteil des Dokuments und zusätzlichen Metadaten in einer Vektordatenbank gespeichert. Die Vektordatenbank ist für die effiziente Durchführung einer Ähnlichkeitssuche zwischen Vektoren optimiert.

Zielgruppe

Kunden mit Datenspeichern, die möglicherweise privat sind oder sich häufig ändern. Der RAG-Ansatz löst zwei Probleme. Kunden mit den folgenden Herausforderungen können von diesem Labor profitieren.

Aktualität der Daten: Wenn sich die Daten ständig ändern und das Modell nur aktuelle Informationen liefern muss.
Aktualität des Wissens: Wenn domänenspezifisches Wissen vorhanden ist, das das Modell möglicherweise nicht versteht, und das Modell gemäß den Domänendaten ausgeben muss.

Objektiv

Nach diesem Modul sollten Sie über folgende Kenntnisse verfügen:

Was ist das QA-Muster und wie nutzt es Retrieval Augmented Generation (RAG)?
So implementieren Sie mit Bedrock eine Q&A-RAG-Lösung

In diesem Modul führen wir Sie durch die Implementierung des QA-Musters mit Bedrock. Zusätzlich haben wir die Einbettungen zum Laden in die Vektordatenbank für Sie vorbereitet.

Beachten Sie, dass Sie Titan Embeddings verwenden können, um die Einbettungen der Benutzerfrage zu erhalten, diese Einbettungen dann verwenden können, um die relevantesten Dokumente aus der Vektordatenbank abzurufen, eine Eingabeaufforderung zu erstellen, die die drei wichtigsten Dokumente verkettet, und das LLM-Modell über Bedrock aufzurufen.