Beispiel für Lamafile-Lappen

Minimale lokale RAG mit Lamafile

Eine sehr einfache interaktive CLI zum Indizieren und Abfragen von Dokumenten mithilfe von Lamafiles für Einbettungen und Textgenerierung. Der Index basiert auf einem FAISS-Vektorspeicher. Das Standardeinbettungsmodell ist mxbai-embed-large-v1 (Lamafile-Link) und das Textgenerierungsmodell ist mistral-7b-instruct-v0.2 (Lamafile-Link). (Diese können durch Bearbeiten von setup.sh geändert werden.)

Aufstellen:

cp .env.example .env
./setup.sh

Dieses Skript lädt Lamadateien von HuggingFace herunter und kann je nach Internetverbindung mehrere Minuten dauern.

HINWEIS: Das Setup-Skript erfordert pyenv

Schnellstart mit Spielzeugdaten

Um die App zu starten, führen Sie Folgendes aus:

./app.sh

Wenn Sie die App ausführen, geschieht Folgendes:

1. Starten Sie zwei Lamafile-Server auf separaten Ports, einen für das Einbettungsmodell (Port 8080) und einen für das Textgenerierungsmodell (Port 8081). Dies kann etwa 40 Sekunden dauern.
2. Wenn Sie die App zum ersten Mal ausführen, übernimmt sie automatisch den Inhalt der Dateien im Verzeichnis toy_data/ in einen Vektorspeicher (den „Index“). Inhalt des Verzeichnisses toy_data/ :

 1.txt: Alice likes red squares.
2.txt: Bob likes blue circles.
3.txt: Chris likes blue triangles.
4.txt: David does not like green triangles.
5.txt: Mary does not like circles.

3. Anschließend wird eine interaktive CLI gestartet, mit der Sie einem Modell Fragen zu den Daten im Index stellen können. Die CLI sollte wie folgt aussehen:

Enter query (ctrl-d to quit): [What does Alice like ? ] >

Wenn Sie hier einfach die Eingabetaste drücken, lautet die Abfrage standardmäßig „Was mag Alice?“. Die App-Ausgabe sollte wie folgt aussehen:

 === Query ===
What does Alice like?

=== Search Results ===
0.7104 - " alice likes red squares ."
0.5229 - " bob likes blue circles ."
0.4088 - " chris likes blue triangles ."

=== Prompt ===
"You are an expert Q&A system. Answer the user's query using the provided context information.
Context information:
 alice likes red squares .
 bob likes blue circles .
 chris likes blue triangles .
Query: What does Alice like?"
(prompt_ntokens: 55)


=== Answer ===
"
Answer: Alice likes red squares."

--------------------------------------------------------------------------------

Hier einige andere Abfragen, die Sie ausprobieren könnten:

• Wer hasst dreiseitige Formen?
• Wer mag Formen in der Farbe des Himmels?
• Wer mag Rechtecke?

Das ist so ziemlich alles.

App-Konfiguration

Sie können die meisten App-Einstellungen über die .env Datei ändern. Die Standarddatei sollte wie folgt aussehen:

 EMBEDDING_MODEL_PORT=8080
GENERATION_MODEL_PORT=8081
INDEX_LOCAL_DATA_DIRS=local_data,toy_data
INDEX_TEXT_CHUNK_LEN=128
INDEX_SAVE_DIR=./index-toy

Alle verfügbaren Optionen finden Sie in „settings.py“.

Verwendung verschiedener Modelle

Standardmäßig verwendet die App:

• Einbettungen:
• Textgenerierung:

Eigene Daten hinzufügen

Standardmäßig ist die App so konfiguriert, dass sie den Inhalt der in INDEX_LOCAL_DATA_DIRS aufgeführten Verzeichnisse indiziert, nämlich local_data und toy_data . Derzeit unterstützen wir nur die Indizierung von .txt Dateien.

Ändern Sie zunächst in Ihrer .env Datei INDEX_SAVE_DIR dahingehend, wo Ihr Index gespeichert werden soll. Die App ändert oder überschreibt keinen vorhandenen Index. Ändern Sie daher entweder das Verzeichnis in der .env oder löschen Sie den vorhandenen Index unter ./index-toy .

Es gibt zwei Möglichkeiten, Daten hinzuzufügen:

1. Fügen Sie .txt Dateien zum Verzeichnis local_data/ hinzu. Sie können toy_data/ aus der Liste INDEX_LOCAL_DATA_DIRS in unserer .env Datei entfernen. Sie können der Liste INDEX_LOCAL_DATA_DIRS auch einfach ein weiteres Verzeichnis hinzufügen.
2. Fügen Sie Webseiten zum Index hinzu, indem Sie eine oder mehrere URLs für die Variable INDEX_URLS in Ihrer .env Datei angeben, z. B. INDEX_URLS=url1,url2,... .