microllama

マイクロラマ

可能な限り最小の LLM API。独自のコンテンツへの質問と回答のインターフェイスを数分で構築します。 Langchain 経由で OpenAI エンベディング、gpt-3.5 および Faiss を使用します。

使用法

1. ソースドキュメントを結合して、 source.jsonという名前の単一の JSON ファイルを作成します。次のようになります。

[
    {
        "source" : " Reference to the source of your content. Typically a title. " ,
        "url" : " URL for your source. This key is optional. " ,
        "content" : " Your content as a single string. If there's a title or summary, put these first, separated by new lines. "
    }, 
    ...
]

例については、 example.source.json参照してください。

2. MicroLlama を仮想環境にインストールします。

pip install microllama

3. OpenAI API キーを取得して環境に追加します (例: export OPENAI_API_KEY=sk-etc 。インデックス作成とクエリには OpenAI クレジットが必要ですが、これは無料ではないことに注意してください。

4. microllamaを使用してサーバーを実行します。ベクトル検索インデックスが存在しない場合は、 source.jsonから作成され、保存されます。

5. /api/ask?your question でドキュメントをクエリします。

6. Microllama には、 microllama make-front-endで生成されるオプションの Web フロントエンドが含まれています。このコマンドは、編集可能な単一のindex.htmlファイルを作成します。 /で提供されます。

構成

Microllama は環境変数を通じて構成され、デフォルトは次のとおりです。

• OPENAI_API_KEY : 必須
• FAISS_INDEX_PATH : "faiss_index"
• SOURCE_JSON : "source.json"
• MAX_RELATED_DOCUMENTS : "5"
• EXTRA_CONTEXT : 「回答は 3 文以内にしてください。回答が文脈に含まれていない場合は、「申し訳ありませんが、私の情報源にはこれに対する回答がありません。」と言ってください。
• UVICORN_HOST : "0.0.0.0"
• UVICORN_PORT : "8080"

API のデプロイ

microllama make-dockerfileを使用して Dockerfile を作成します。それから：

Fly.io で

Fly.io アカウントにサインアップし、flyctl をインストールします。それから：

fly launch # answer no to Postgres, Redis and deploying now 
fly secrets set OPENAI_API_KEY=sk-etc 
fly deploy

Google Cloud Run 上で

gcloud run deploy --source . --set-env-vars= " OPENAI_API_KEY=sk-etc "

Cloud Run やその他のサーバーレス プラットフォームの場合は、起動時間を短縮するために、コンテナのビルド時に FAISS インデックスを生成する必要があります。 Dockerfileの 2 つのコメント行を参照してください。

これらのコマンドはmicrollama deploy使用して生成することもできます。

に基づく

• ラングチェーン
• Simon Willison のブログ投稿、datasette-openai および datasett-faiss。
• ファストAPI
• GPTインデックス
• ダグスターのブログ投稿

TODO

• より意味のあるフラグメントを生成する分割を使用します。例: text_splitter = SpacyTextSplitter(chunk_size=700, chunk_overlap=200, separator=" ")