Llama_RAG_System

llama_rag_system

概要

llama_rag_systemは、豊富なコンテキストに関連する回答を使用してユーザークエリにインタラクティブに応答するように設計された、堅牢な回収された回復力豊富なジェネレーション（RAG）システムです。 LlamaモデルとOllamaを使用して構築されたこのシステムは、一般的な質問への回答、コンテンツの要約、アップロードされたPDFドキュメントから情報の抽出など、さまざまなタスクを処理できます。このアーキテクチャは、効率的なドキュメントの埋め込みと検索にChromAdbを使用し、Webスクレイピング機能を組み込んでインターネットから最新の情報を取得します。

Gradio App Interfaceを垣間見ることができます。

？注：このプロジェクトは現在開発中です。あなたのフィードバックと貢献は大歓迎です！

特徴

• Ollamaとのローカルモデルの実行： Ollamaを利用してLlamaモデルをローカルで実行し、より速い応答とプライバシーの強化を確保します。データ処理をローカルに保持することにより、ユーザーは情報を外部サーバーに送信せずに情報の制御を維持できます。
• 更新された回答のためのWebスクレイピング：リアルタイムで関連する情報を提供するためにインターネットをスクレイプし、システムが最新のデータに基づいて正確な応答を提供できるようにします。
• PDFドキュメント処理：自動テキスト抽出と埋め込み用のPDFファイルをアップロードします。
• 動的クエリ処理：ユーザークエリのタイプ（一般的な質問、要約、チットチャットなど）を自動的に検出し、適切な回答を提供します。
• GradioおよびFlask Interfaces ：モデルと対話し、ドキュメントをアップロードするためのユーザーフレンドリーなWebインターフェイス。
• カスタム埋め込み：ChromADBを使用して、ドキュメントの埋め込みを効率的に保存および取得します。

なぜオラマを使うのですか？

Ollamaは、いくつかの理由で地元で機械学習モデルを実行するための優れたオプションです。

• プライバシー：ローカルインフラストラクチャでモデルを実行することで、ユーザーの環境内に機密データが残ることが保証され、データ侵害やリークのリスクが最小限に抑えられます。
• パフォーマンス：ローカルの実行はレイテンシを削減し、クラウドベースのソリューションと比較して応答時間が速くなります。
• カスタマイズ：ユーザーは、外部サービスプロバイダーに依存することなく、特定のニーズを満たすためにモデルを微調整できます。

フォルダー構造

プロジェクトは次のように編成されています。

 project/
├── core/
│   ├── embedding.py             # Embedding-related functionality
│   ├── document_utils.py        # Functions to handle document loading and processing
│   ├── query.py                 # Query document functionality
│   ├── generate.py              # Response generation logic
│   ├── web_scrape.py            # Web scraping functionality
│
├── scripts/
│   ├── run_flask.py             # Script to run Flask API
│   ├── run_gradio.py            # Script to run Gradio interface
│
├── chromadb_setup.py            # ChromaDB setup and connection
│
├── README.md                    # Project documentation

インストール

llama_rag_systemをセットアップするには、次の手順に従ってください。

1. リポジトリをクローンします：

   git clone https://github.com/NimaVahdat/Llama_RAG_System.git
   cd Llama_RAG_System

2. ChromADBおよびその他の必要なサービスが必要に応じて実行されていることを確認してください。

使用法

Flask APIを実行します

Flask APIを起動するには、次のコマンドを実行します。

python -m scripts.run_flask

グレードインターフェイスの実行

Gradio Interfaceを起動するには、実行してください。

python -m scripts.run_gradio

いずれかのスクリプトを実行した後、提供されたWebインターフェイスを介してシステムと対話することができます。

貢献

貢献は大歓迎です！改善または機能の提案がある場合は、リポジトリをフォークしてプルリクエストを送信してください。

ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。

謝辞

• 基礎となるモデルアーキテクチャのラマ。
• 機械学習モデルのローカル実行、プライバシーとパフォーマンスの向上のためのOllama。
• インタラクティブインターフェイスのグラデーション。
• 効率的なドキュメントストレージと検索用のChromADB。

接触

お問い合わせやサポートについては、私に連絡してください。