microllama

MikroLama

Die kleinstmögliche LLM-API. Erstellen Sie in wenigen Minuten eine Frage- und Antwortschnittstelle für Ihre eigenen Inhalte. Verwendet OpenAI-Einbettungen, gpt-3.5 und Faiss, über Langchain.

Verwendung

1. Kombinieren Sie Ihre Quelldokumente in einer einzigen JSON-Datei mit dem Namen source.json . Es sollte so aussehen:

[
    {
        "source" : " Reference to the source of your content. Typically a title. " ,
        "url" : " URL for your source. This key is optional. " ,
        "content" : " Your content as a single string. If there's a title or summary, put these first, separated by new lines. "
    }, 
    ...
]

Ein Beispiel finden Sie unter example.source.json .

2. Installieren Sie MicroLlama in einer virtuellen Umgebung:

pip install microllama

3. Holen Sie sich einen OpenAI-API-Schlüssel und fügen Sie ihn der Umgebung hinzu, z. B. export OPENAI_API_KEY=sk-etc . Beachten Sie, dass für die Indizierung und Abfrage OpenAI-Credits erforderlich sind, die nicht kostenlos sind.

4. Betreiben Sie Ihren Server mit microllama . Wenn kein Vektorsuchindex vorhanden ist, wird er aus Ihrer source.json erstellt und gespeichert.

5. Fragen Sie Ihre Dokumente unter /api/ask?your questions ab.

6. Microllama enthält ein optionales Web-Frontend, das mit microllama make-front-end generiert wird. Dieser Befehl erstellt eine einzelne index.html Datei, die Sie bearbeiten können. Es wird um / serviert.

Konfiguration

Microllama wird über Umgebungsvariablen mit den folgenden Standardeinstellungen konfiguriert:

• OPENAI_API_KEY : erforderlich
• FAISS_INDEX_PATH : „faiss_index“
• SOURCE_JSON : „source.json“
• MAX_RELATED_DOCUMENTS : „5“
• EXTRA_CONTEXT : „Antworten Sie in nicht mehr als drei Sätzen. Wenn die Antwort nicht im Kontext enthalten ist, sagen Sie „Entschuldigung, das ist in meinen Quellen keine Antwort darauf.““
• UVICORN_HOST : „0.0.0.0“
• UVICORN_PORT : „8080“

Bereitstellen Ihrer API

Erstellen Sie eine Docker-Datei mit microllama make-dockerfile . Dann:

Auf Fly.io

Eröffnen Sie ein Fly.io-Konto und installieren Sie flyctl. Dann:

fly launch # answer no to Postgres, Redis and deploying now 
fly secrets set OPENAI_API_KEY=sk-etc 
fly deploy

Auf Google Cloud Run

gcloud run deploy --source . --set-env-vars= " OPENAI_API_KEY=sk-etc "

Für Cloud Run und andere serverlose Plattformen sollten Sie den FAISS-Index zum Zeitpunkt der Containererstellung generieren, um die Startzeit zu verkürzen. Siehe die beiden kommentierten Zeilen in Dockerfile .

Sie können diese Befehle auch mit microllama deploy generieren.

Bezogen auf

• Langkette
• Simon Willisons Blogbeitrag, datasette-openai und datasette-faiss.
• FastAPI
• GPT-Index
• Dagster-Blogbeitrag

TODO

• Verwenden Sie die Aufteilung, die aussagekräftigere Fragmente generiert, z. B. text_splitter = SpacyTextSplitter(chunk_size=700, chunk_overlap=200, separator=" ")