Llama_RAG_System

llama_rag_system

개요

LLAMA_RAG_SYSTEM 은 풍부하고 상황에 맞는 답변으로 사용자 쿼리에 대화식으로 응답하도록 설계된 강력한 검색 검색 생성 (RAG) 시스템입니다. Llama Model과 Ollama를 사용하여 구축 된이 시스템은 일반적인 질문에 대한 답변, 컨텐츠 요약 및 업로드 된 PDF 문서에서 정보 추출을 포함하여 다양한 작업을 처리 할 수 ​​있습니다. 이 아키텍처는 효율적인 문서 임베딩 및 검색을 위해 ChromADB를 사용하고 웹 스크래핑 기능을 통합하여 인터넷에서 최신 정보를 가져옵니다.

Gradio 앱 인터페이스를 엿볼 수 있습니다.

? 참고 :이 프로젝트는 현재 개발 중입니다. 귀하의 의견과 기여를 환영합니다!

특징

• Ollama와의 로컬 모델 실행 : Ollama를 활용하여 Llama 모델을 로컬로 운영하여 더 빠른 응답과 개인 정보를 향상시킵니다. 데이터 처리를 로컬로 유지함으로써 사용자는 정보를 외부 서버로 보내지 않고도 정보를 제어 할 수 있습니다.
• 업데이트 된 답변에 대한 웹 스크래핑 : 인터넷을 긁어 실시간, 관련 정보를 제공하여 시스템이 최신 데이터를 기반으로 정확한 응답을 제공 할 수 있도록합니다.
• PDF 문서 처리 : 자동 텍스트 추출 및 임베딩을 위해 PDF 파일을 업로드합니다.
• 동적 쿼리 처리 : 사용자 쿼리 유형 (일반 질문, 요약, Chit-Chat 등)을 자동으로 감지하고 적절한 응답을 제공합니다.
• Gradio 및 Flask 인터페이스 : 모델과 상호 작용하고 문서를 업로드하기위한 사용자 친화적 인 웹 인터페이스.
• 맞춤 임베딩 : ChromADB를 사용하여 문서 임베딩을 효율적으로 저장하고 검색합니다.

왜 Ollama를 사용합니까?

Ollama 는 여러 가지 이유로 기계 학습 모델을 로컬로 운영하기위한 훌륭한 옵션입니다.

• 프라이버시 : 로컬 인프라에서 모델을 실행하면 민감한 데이터가 사용자의 환경 내에 남아있어 데이터 유출 또는 유출의 위험을 최소화합니다.
• 성능 : 로컬 실행은 대기 시간을 줄여 클라우드 기반 솔루션에 비해 더 빠른 응답 시간을 허용합니다.
• 사용자 정의 : 사용자는 외부 서비스 제공 업체에 따라 특정 요구를 충족시키기 위해 모델을 미세 조정할 수 있습니다.

폴더 구조

프로젝트는 다음과 같이 구성됩니다.

 project/
├── core/
│   ├── embedding.py             # Embedding-related functionality
│   ├── document_utils.py        # Functions to handle document loading and processing
│   ├── query.py                 # Query document functionality
│   ├── generate.py              # Response generation logic
│   ├── web_scrape.py            # Web scraping functionality
│
├── scripts/
│   ├── run_flask.py             # Script to run Flask API
│   ├── run_gradio.py            # Script to run Gradio interface
│
├── chromadb_setup.py            # ChromaDB setup and connection
│
├── README.md                    # Project documentation

설치

llama_rag_system을 설정하려면 다음 단계를 따르십시오.

1. 저장소 복제 :

   git clone https://github.com/NimaVahdat/Llama_RAG_System.git
   cd Llama_RAG_System

2. ChromADB 및 기타 필요한 서비스가 필요에 따라 실행되고 있는지 확인하십시오.

용법

플라스크 API를 실행합니다

플라스크 API를 시작하려면 다음 명령을 실행하십시오.

python -m scripts.run_flask

Gradio 인터페이스를 실행합니다

Gradio 인터페이스를 시작하려면 실행 :

python -m scripts.run_gradio

두 스크립트를 실행하면 제공된 웹 인터페이스를 통해 시스템과 상호 작용할 수 있습니다.

기여

기부금을 환영합니다! 개선 또는 기능에 대한 제안이 있으면 저장소를 포크하고 풀 요청을 제출하십시오.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.

감사의 말

• 기본 모델 아키텍처를위한 라마.
• 기계 학습 모델의 현지 실행을위한 Ollama, 개인 정보 및 성능 향상.
• 대화식 인터페이스의 Gradio.
• 효율적인 문서 저장 및 검색을위한 ChromADB.

연락하다

문의 나 지원을 받으려면 저에게 연락하십시오.