experiments genai

実験Gen AI

Gen AIエコシステムに関する実験のリスト

設定

インストール

1. 依存関係をインストールする

 create -m venv .venv
source .venv/bin/activate

pip3 install -r requirements.txt

2. Ollama を使用して LLM モデルをローカルにインストールして実行します。ダウンロードページ (https://ollama.com/) にアクセスしてください。

   2.1 Lla​​ma2 - ollama run llama2 。 llama2 の詳細については、こちらをご覧ください。

   2.2 Codellama - ollama run codellama 。コデラマの詳細については、こちらをご覧ください。

ミルバスをインストールする

オプション、Milvus サンプルを実行する場合にのみ必要です

Milvus 依存サンプルを実行する前に、Milvus ベクター ストアが稼働していることを確認してください。

1. Milvus Vector ストアのセットアップには Docker Compose を使用します。プロジェクトルートからsudo docker compose -f docker-compose-milvus.yml up -dを実行します。

目次

ファイル/フォルダー名	フレームワーク	最適化/微調整	パイプライン
rag_pdf_1.py	ラマインデックス + ミルバス	ラグ	PDF ディレクトリをロードし、単純な方法でデータとインデックスを抽出し、ベクトル ストアにインデックスを埋め込み、ユーザー クエリを実行します。
rag_pdf_2.py	ラマインデックス	ラグ	PDF ディレクトリのロード、センテンス ウィンドウによるデータの抽出、ローカル ストレージへのインデックスの埋め込み、ユーザー クエリ
rag_pdf_3.py	ラマインデックス + ミルバス	ラグ	PDF ディレクトリのロード、センテンス ウィンドウでデータの抽出、ベクトル ストアへのインデックスの埋め込み、ユーザー クエリ
rag_pdf_4.py	ラマインデックス + クロマ	ラグ	近日公開
rag_pdf_5.py	ラマインデックス + 松ぼっくり	ラグ	近日公開
rag_pdf_6.py	ラマインデックス + Qdrant	ラグ	近日公開
rag_pdf_7.py	ラマインデックス + レイ + ミルバス	ラグ	近日公開
rag_pdf_8.py	ラマインデックス + レイ + ミルバス	ラグ	近日公開

どうやって走る?

 python3 rag_pdf_1.py