rags

Chiffons

Build.a.rags.bot.powed.by.llamaindex .-. 26.November.2023.mp4

RAGS est une application rationalisée qui vous permet de créer un pipeline de chiffons à partir d'une source de données utilisant le langage naturel.

Vous pouvez faire ce qui suit:

1. Décrivez votre tâche (par exemple, "Chargez cette page Web") et les paramètres que vous souhaitez de vos systèmes de chiffon (par exemple "Je veux récupérer le nombre X de documents")
2. Entrez dans la vue de configuration et affichez / modifiez les paramètres générés (top-k, résumé, etc.) selon les besoins.
3. Interrogez l'agent de chiffon sur les données avec vos questions.

Ce projet est inspiré par GPTS, lancé par Openai.

Installation et configuration

Clone ce projet, allez dans le dossier du projet rags . Nous recommandons de créer un Env virtual pour les dépendances ( python3 -m venv .venv ).

 poetry install --with dev

Par défaut, nous utilisons OpenAI pour l'agent de constructeur ainsi que pour l'agent de chiffon généré. Ajouter .streamlit/secrets.toml dans le dossier de la maison.

Puis mettez ce qui suit:

 openai_key = "<openai_key>"

Exécutez ensuite l'application à partir du fichier "Page d'accueil".

streamlit run 1_?_Home.py

Remarque : Si vous avez mis à niveau la version des chiffons et que vous rencontrez des problèmes de lancement, vous devrez peut-être supprimer le dossier cache dans votre répertoire domestique (nous avons peut-être introduit des changements de rupture dans la structure de données stockée entre les versions).

Aperçu détaillé

L'application contient les sections suivantes, correspondant aux étapes énumérées ci-dessus.

1.? Page d'accueil

Ceci est la section où vous construisez un pipeline de chiffons en instruisant "l'agent de constructeur". En règle générale, pour configurer un pipeline de chiffons, vous avez besoin des composants suivants:

1. Décrivez l'ensemble de données. Actuellement, nous prenons en charge un seul fichier local ou une page Web . Nous sommes ouverts aux suggestions ici!
2. Décrire la tâche. Concrètement cette description sera utilisée pour initialiser "l'invite du système" du LLM alimentant le pipeline de chiffons.
3. Définissez les paramètres typiques d'une configuration de chiffon. Voir la section ci-dessous pour la liste des paramètres.

2. Configation de chiffon

Cette section contient les paramètres de rag, générés par "l'agent de constructeur" dans la section précédente. Dans cette section, vous avez une interface utilisateur présentant les paramètres générés et avez la liberté de les modifier / les modifier manuellement si nécessaire.

Actuellement, l'ensemble des paramètres est le suivant:

• Invite du système
• Inclure le résumé: s'il faut également ajouter un outil de résumé (au lieu de ne faire que la récupération du K.)
• Top-k
• Taille
• Modèle d'intégration
• LLM

Si vous modifiez manuellement les paramètres, vous pouvez appuyer sur le bouton "Update Agent" afin de mettre à jour l'agent.

 If you don't see the `Update Agent` button, that's because you haven't created the agent yet. Please go to the previous "Home" page and complete the setup process.

Nous pouvons toujours ajouter plus de paramètres pour rendre cela plus "avancé", mais nous avons pensé que ce serait un bon point de départ.

3. Agent de chiffon généré

Une fois votre agent de chiffon créé, vous avez accès à cette page.

Il s'agit d'une interface de chatbot standard où vous pouvez interroger l'agent de chiffon et il répondra aux questions sur vos données.

Il pourra choisir les bons outils de chiffon (recherche de vecteur supérieur-k ou éventuellement un résumé) afin de réaliser la requête.

LLM et intégres pris en charge

Agent de constructeur

Par défaut, l'agent de constructeur utilise OpenAI. Ceci est défini dans le fichier core/builder_config.py .

Vous pouvez personnaliser cela à ce que vous souhaitez LLM (un exemple est fourni pour Anthropic).

Notez que les variantes GPT-4 donneront les résultats les plus fiables en termes de construction réellement un agent (nous ne pourrions pas faire fonctionner Claude).

Agent de chiffon généré

Vous pouvez définir la configuration via le langage naturel ou manuellement pour le modèle d'intégration et LLM.

• LLM : Nous prenons en charge les LLM suivantes, mais vous devez spécifier explicitement l'ID à l'agent du constructeur.
  • Openai: ID est "Openai: <model_name>" EG "Openai: GPT-4-1106-Preview"
  • Anthropic: id est "anthropic: <model_name>" par exemple "anthropic: claude-2"
  • Reproduir: l'id est "reproduir: <model_name>"
  • HUGGINGFACE: ID est "local: <model_name>" EG "local: baai / bge-small-en"
• Embeddings : prend en charge par défaut le text-text-odding-002, mais prend également en charge les modèles de visage étreintes. Pour utiliser un modèle de visage étreint, appliquez simplement avec local, par exemple local: baai / bge-small-en.

Ressources

Vous rencontrez des problèmes? Veuillez déposer un problème GitHub ou rejoindre notre discorde.

Cette application a été construite avec Llamaindex Python.

Voir notre article de blog de lancement ici.