Llama_RAG_System

llama_rag_system

概述

LLAMA_RAG_SYSTEM是一個強大的檢索生成（RAG）系統，旨在用豐富的，上下文相關的答案進行交互響應用戶查詢。該系統使用Llama模型和Ollama構建，可以處理各種任務，包括回答一般問題，匯總內容以及從上傳的PDF文檔中提取信息。該體系結構利用Chromadb進行有效的文檔嵌入和檢索，同時還結合了Web刮擦功能以從Internet獲取最新信息。

這是Gradio應用程序接口的瞥見：

？請注意：此項目目前正在開發中。歡迎您的反饋和貢獻！

特徵

• 使用Ollama的本地模型執行：利用Ollama在本地運行Llama模型，以確保更快的響應和增強的隱私。通過保持數據處理本地，用戶可以在不發送外部服務器的情況下保持對信息的控制。
• Web刮擦以獲取更新的答案：刮擦Internet以提供實時，相關的信息，從而使系統可以根據最新數據提供準確的響應。
• PDF文檔處理：上傳PDF文件，用於自動文本提取和嵌入。
• 動態查詢處理：自動檢測用戶查詢的類型（一般問題，摘要，聊天等），並提供適當的響應。
• Gradio和Blask接口：用於與模型交互和上傳文檔交互的用戶友好網絡接口。
• 自定義嵌入：利用Chromadb有效地存儲和檢索文檔嵌入。

為什麼要使用Ollama？

Ollama是在本地運行機器學習模型的絕佳選擇，原因有幾個：

• 隱私：在本地基礎架構上運行該模型可確保敏感數據保留在用戶的環境中，從而最大程度地減少了數據洩露或洩漏的風險。
• 性能：本地執行會減少延遲，與基於雲的解決方案相比，響應時間更快。
• 自定義：用戶可以微調模型以滿足特定需求，而無需依賴外部服務提供商。

文件夾結構

該項目的組織如下：

 project/
├── core/
│   ├── embedding.py             # Embedding-related functionality
│   ├── document_utils.py        # Functions to handle document loading and processing
│   ├── query.py                 # Query document functionality
│   ├── generate.py              # Response generation logic
│   ├── web_scrape.py            # Web scraping functionality
│
├── scripts/
│   ├── run_flask.py             # Script to run Flask API
│   ├── run_gradio.py            # Script to run Gradio interface
│
├── chromadb_setup.py            # ChromaDB setup and connection
│
├── README.md                    # Project documentation

安裝

要設置llama_rag_system，請按照以下步驟：

1. 克隆存儲庫：

   git clone https://github.com/NimaVahdat/Llama_RAG_System.git
   cd Llama_RAG_System

2. 確保Chromadb和其他任何必要的服務都根據需要運行。

用法

運行燒瓶API

要啟動燒瓶API，請運行以下命令：

python -m scripts.run_flask

運行Gradio接口

要啟動Gradio接口，請執行：

python -m scripts.run_gradio

運行任一腳本後，您將能夠通過提供的Web界面與系統進行交互。

貢獻

歡迎捐款！如果您有改進或功能的建議，請提供存儲庫並提交拉動請求。

執照

該項目是根據MIT許可證獲得許可的 - 有關詳細信息，請參見許可證文件。

致謝

• 基礎模型體系結構的駱駝。
• Ollama用於本地執行機器學習模型，增強隱私和性能。
• 交互式接口的Gradio。
• ChromAdb，用於有效的文檔存儲和檢索。

接觸

有關任何查詢或支持，請與我聯繫。