llamafile ラグの例

llamafile を使用した最小限のローカル RAG

埋め込みとテキスト生成に llamafile を使用してドキュメントのインデックス作成とクエリを実行するための、非常に基本的な対話型 CLI。インデックスは FAISS ベクトル ストアに基づいています。デフォルトの埋め込みモデルは mxbai-embed-large-v1 (llamafile リンク)、テキスト生成モデルは mistral-7b-instruct-v0.2 (llamafile リンク) です。 (これらはsetup.sh編集することで変更できます。)

設定：

cp .env.example .env
./setup.sh

このスクリプトは HuggingFace から llamafile をダウンロードしますが、インターネット接続によっては数分かかる場合があります。

注: セットアップ スクリプトには pyenv が必要です

おもちゃデータのクイックスタート

アプリを起動するには、次のコマンドを実行します。

./app.sh

アプリを実行すると、次のことが行われます。

1. 2 つの llamafile サーバーを別々のポートで起動します。1 つは埋め込みモデル用 (ポート 8080)、もう 1 つはテキスト生成モデル用 (ポート 8081) です。これには約 40 秒かかる場合があります。
2. アプリを初めて実行する場合、 toy_data/ディレクトリ内のファイルの内容がベクター ストア (「インデックス」) に自動的に取り込まれます。 toy_data/ディレクトリの内容:

 1.txt: Alice likes red squares.
2.txt: Bob likes blue circles.
3.txt: Chris likes blue triangles.
4.txt: David does not like green triangles.
5.txt: Mary does not like circles.

3. それが完了すると、対話型 CLI が開始され、インデックス内のデータについてモデルに質問できるようになります。 CLI は次のようになります。

Enter query (ctrl-d to quit): [What does Alice like ? ] >

ここで Enter キーを押すと、デフォルトでクエリは「アリスは何が好きですか?」になります。アプリの出力は次のようになります。

 === Query ===
What does Alice like?

=== Search Results ===
0.7104 - " alice likes red squares ."
0.5229 - " bob likes blue circles ."
0.4088 - " chris likes blue triangles ."

=== Prompt ===
"You are an expert Q&A system. Answer the user's query using the provided context information.
Context information:
 alice likes red squares .
 bob likes blue circles .
 chris likes blue triangles .
Query: What does Alice like?"
(prompt_ntokens: 55)


=== Answer ===
"
Answer: Alice likes red squares."

--------------------------------------------------------------------------------

ここで、他のクエリを試してみることもできます。

• 三角の形が嫌いな人はいないでしょうか？
• 空の色の形が好きな人はいませんか?
• 長方形が好きな人は誰ですか？

それだけです。

アプリの構成

ほとんどのアプリ設定は.envファイル経由で変更できます。デフォルトのファイルは次のようになります。

 EMBEDDING_MODEL_PORT=8080
GENERATION_MODEL_PORT=8081
INDEX_LOCAL_DATA_DIRS=local_data,toy_data
INDEX_TEXT_CHUNK_LEN=128
INDEX_SAVE_DIR=./index-toy

利用可能なすべてのオプションについては、settings.py を参照してください。

異なるモデルの使用

デフォルトでは、アプリは以下を使用します。

• 埋め込み:
• テキストの生成:

独自のデータを追加する

デフォルトでは、アプリはINDEX_LOCAL_DATA_DIRSにリストされているディレクトリlocal_dataおよびtoy_dataの内容にインデックスを付けるように構成されています。現在、 .txtファイルのインデックス作成のみをサポートしています。

まず、 .envで、 INDEX_SAVE_DIRインデックスを保存したい場所に変更します。アプリは既存のインデックスを変更したり上書きしたりしないため、 .env内のディレクトリを変更するか、 ./index-toyにある既存のインデックスを削除します。

データを追加するには 2 つの方法があります。

1. .txtファイルをlocal_data/ディレクトリに追加します。 toy_data/ 、 .envファイルのINDEX_LOCAL_DATA_DIRSリストから削除できます。別のディレクトリをINDEX_LOCAL_DATA_DIRSリストに追加することもできます。
2. .envファイルのINDEX_URLS変数に 1 つ以上の URL を指定して、Web ページをインデックスに追加します (例: INDEX_URLS=url1,url2,... 。