Ce référentiel contient du code et des ressources liées à la Retrieval Augmented Generation (RAG), une technique conçue pour résoudre le problème de fraîcheur des données dans les grands modèles linguistiques (LLM) comme Llama-2. Les LLM manquent souvent de connaissance des événements récents et des informations à jour. RAG intègre des connaissances externes provenant d'une base de connaissances dans les réponses LLM, permettant des réponses précises et bien fondées.
src
: Contient le code source d'implémentation de la technique RAG et les interactions avec la base de connaissances.data
: stocke les ensembles de données et les ressources pertinentes pour construire la base de connaissances.db
: Pour gérer et stocker les intégrations de jetons ou les représentations vectorielles pour les recherches dans la base de connaissances.requirements.txt
: packages Python requis pour exécuter le code dans ce référentiel. RAG est une nouvelle approche combinant les capacités des grands modèles linguistiques (LLM) avec des bases de connaissances externes pour améliorer la qualité et la fraîcheur des réponses générées. Il relève le défi des informations obsolètes en récupérant des connaissances contextuellement pertinentes à partir de sources externes et en les incorporant dans le contenu généré par LLM.
Gradio est une bibliothèque Python qui vous aide à créer rapidement des interfaces utilisateur pour vos modèles d'apprentissage automatique. Il vous permet de déployer rapidement des modèles et de les rendre accessibles via une interface conviviale sans développement frontal approfondi.
Une application Gradio est lancée lorsque le code gradio_chatbot.py
est exécuté. Il contient des éléments modifiables tels que le modèle d'intégration, le modèle de génération, l'invite système modifiable et les paramètres réglables du LLM choisi.
Pour utiliser le code dans ce référentiel, procédez comme suit :
Clonez le référentiel sur votre ordinateur local.
Accédez au répertoire du référentiel à l'aide de la ligne de commande.
Installez les packages requis à l'aide de la commande suivante :
pip install -r requirements.txt
Exécutez l'application chatbot à l'aide de la commande :
python src/gradio_chatbot.py
Une fois l'application Gradio lancée, téléchargez un document (pdf ou csv), choisissez les modèles (intégration et génération), ajustez les paramètres réglables, manipulez l'invite du système et demandez tout ce dont vous avez besoin !