Llama_RAG_System

Llama_rag_system

Aperçu

Le LLAMA_RAG_SYSTH est un système de génération (RAG) robuste de récupération (RAG) conçu pour répondre de manière interactive aux requêtes utilisateur avec des réponses riches et contextuellement pertinentes. Construit à l'aide du modèle LLAMA et Olllama , ce système peut gérer diverses tâches, notamment en répondant aux questions générales, en résumant le contenu et en extraction des informations à partir de documents PDF téléchargés. L'architecture utilise ChromAdB pour une intégration et une récupération de documents efficaces, tout en incorporant également les capacités de grattement Web pour récupérer des informations à jour sur Internet.

Voici un aperçu de l'interface de l'application Gradio:

? Veuillez noter: ce projet est actuellement en développement. Vos commentaires et contributions sont les bienvenus!

Caractéristiques

• Exécution du modèle local avec Olllama : utilise Olllama pour exécuter le modèle LLAMA localement, garantissant des réponses plus rapides et une confidentialité améliorée. En gardant le traitement des données local, les utilisateurs peuvent maintenir le contrôle de leurs informations sans les envoyer à des serveurs externes.
• Stracage sur le Web pour les réponses mises à jour : Arrête Internet pour fournir des informations pertinentes en temps réel, permettant au système de fournir des réponses précises basées sur les dernières données.
• Traitement de documents PDF : Téléchargez des fichiers PDF pour l'extraction de texte automatique et l'intégration.
• Manipulation de la requête dynamique : détecte automatiquement le type de requêtes utilisateur (questions générales, résumé, chat de chit, etc.) et fournit des réponses appropriées.
• Interfaces Gradio et Flask : interfaces Web conviviales pour interagir avec le modèle et télécharger des documents.
• Incorporation personnalisée : utilise ChromAdB pour stocker et récupérer efficacement les intégres de documents.

Pourquoi utiliser Olllama?

Olllama est une excellente option pour exécuter des modèles d'apprentissage automatique localement pour plusieurs raisons:

• Confidentialité : l'exécution du modèle sur l'infrastructure locale garantit que les données sensibles restent dans l'environnement de l'utilisateur, minimisant le risque de violations ou de fuites de données.
• Performances : L'exécution locale réduit la latence, permettant des temps de réponse plus rapides par rapport aux solutions basées sur le cloud.
• Personnalisation : les utilisateurs peuvent affiner le modèle pour répondre aux besoins spécifiques sans dépendre des fournisseurs de services externes.

Structure de dossier

Le projet est organisé comme suit:

 project/
├── core/
│   ├── embedding.py             # Embedding-related functionality
│   ├── document_utils.py        # Functions to handle document loading and processing
│   ├── query.py                 # Query document functionality
│   ├── generate.py              # Response generation logic
│   ├── web_scrape.py            # Web scraping functionality
│
├── scripts/
│   ├── run_flask.py             # Script to run Flask API
│   ├── run_gradio.py            # Script to run Gradio interface
│
├── chromadb_setup.py            # ChromaDB setup and connection
│
├── README.md                    # Project documentation

Installation

Pour configurer le LLAMA_RAG_SYSTH, suivez ces étapes:

1. Clone le référentiel:

   git clone https://github.com/NimaVahdat/Llama_RAG_System.git
   cd Llama_RAG_System

2. Assurez-vous que ChromAdB et tout autre service nécessaire fonctionnent au besoin.

Usage

Exécuter l'API FLASK

Pour démarrer l'API FLASK, exécutez la commande suivante:

python -m scripts.run_flask

Exécution de l'interface Gradio

Pour lancer l'interface Gradio, exécutez:

python -m scripts.run_gradio

Après avoir exécuté l'un ou l'autre script, vous pourrez interagir avec le système via l'interface Web fournie.

Contributif

Les contributions sont les bienvenues! Si vous avez des suggestions d'améliorations ou de fonctionnalités, veuillez débarquer le référentiel et soumettre une demande de traction.

Licence

Ce projet est autorisé en vertu de la licence MIT - voir le fichier de licence pour plus de détails.

Remerciements

• Lama pour l'architecture du modèle sous-jacente.
• Olllama pour l'exécution locale des modèles d'apprentissage automatique, améliorant la confidentialité et les performances.
• Gradio pour l'interface interactive.
• ChromAdB pour un stockage et une récupération de documents efficaces.

Contact

Pour toute demande ou soutien, veuillez me contacter.