ConversAI
1.0.0
ConversAI est un cadre d'IA conversationnelle innovant conçu pour permettre aux utilisateurs d'interagir de manière intelligente sur divers formats de documents et contenus Web. Utilisant des techniques avancées de traitement du langage naturel (NLP), ConversAI permet des capacités transparentes d'extraction et d'interrogation de texte, ce qui en fait un outil inestimable pour les chercheurs, les étudiants, les professionnels et toute personne interagissant régulièrement avec des informations textuelles.
À une époque caractérisée par une surcharge d’informations, un traitement efficace des données est crucial. ConversAI relève ce défi en tirant parti des technologies de pointe pour transformer les données non structurées en informations exploitables. Qu'il s'agisse d'extraire des informations significatives à partir de PDF, de récupérer des transcriptions de vidéos YouTube ou de collecter des données à partir de plusieurs pages Web, ConversAI fournit une interface conviviale qui simplifie ces tâches complexes.
Avec sa conception modulaire, ConversAI n'est pas seulement un outil mais une plateforme qui peut être étendue et personnalisée pour répondre aux divers besoins des utilisateurs.
Avant d'exécuter ConversAI, assurez-vous que les dépendances suivantes sont installées :
apt-get update && apt-get upgrade -y
apt-get install poppler-utils -yDe plus, vous devez configurer vos variables d'environnement pour l'API GROQ :
GROQ_API_KEY dans vos variables d'environnement.Clonez le dépôt :
git clone https://github.com/rauhanahmed/ConversAI.git
cd ConversAIInstallez les packages requis :
pip install -r requirements.txtPour lancer l'application, exécutez la commande suivante :
python app.pyL'interface Gradio s'ouvrira dans votre navigateur Web par défaut.
Dans le cas où un GPU n'est pas disponible, veuillez modifier le fichier config.ini comme suit :
Dans la section [EMBEDDINGS] , modifiez :
device = cudaà:
device = cpu Dans la section [EASYOCR] , modifiez :
gpu = trueà:
gpu = falseCes ajustements garantiront le bon fonctionnement de l'application sur les ressources CPU.
Après avoir utilisé l'interface, assurez-vous de cliquer sur le bouton « Effacer » pour réinitialiser les champs. Ceci est crucial car la gestion des sessions n'a pas été implémentée dans cette version, et le fait de ne pas effacer les entrées peut entraîner une persistance involontaire des données lors des interactions ultérieures.
Voici une vue complète de l'arborescence des répertoires du projet :
ConversAI/
├── app.py # Main application file
├── config.ini # Configuration file
├── params.yaml # Prompts for the application
├── requirements.txt # Required Python packages
├── src/ # Source code directory
│ ├── components/ # Component modules
│ │ ├── loaders/ # Data loaders
│ │ │ ├── pdfLoader.py
│ │ │ ├── websiteCrawler.py
│ │ │ └── youtubeLoader.py
│ │ ├── rag/ # Retrieval-Augmented Generation components
│ │ │ └── RAG.py
│ │ └── vectors/ # Vector storage and processing
│ │ └── vectorstore.py
│ ├── utils/ # Utility functions and classes
│ │ ├── exceptions.py
│ │ ├── functions.py
│ │ ├── logging.py
│ ├── pipelines/ # Pipeline logic for data processing
│ │ └── completePipeline.py
└── README.md # Project documentation
ConversAI est plus qu'un simple outil ; il s'agit d'une solution complète permettant de gérer et d'extraire des informations à partir d'une multitude de formats de documents et de sources Web. Grâce à ses puissantes capacités et à son interface conviviale, ConversAI est sur le point de rendre la récupération et le traitement des informations plus faciles et plus efficaces que jamais.
Bien sûr! Voici une section mise à jour pour inclure vos contributions et remerciements :
Ce projet a été développé alors que je travaillais en tant qu'ingénieur IA chez Tech Consulting Partners. J'ai construit ConversAI à partir de zéro, en mettant en œuvre des méthodes avancées de récupération de documents, des techniques de reclassement, des méthodologies de recherche hybrides, de multiples intégrations avec de grands modèles de langage (LLM) et de nombreuses autres fonctionnalités complexes.
Le backend comprend des fonctionnalités de gestion des utilisateurs, des solutions sophistiquées de stockage de données (y compris la gestion du stockage S3), une gestion de bases de données et des bases de données vectorielles. La stratégie de déploiement s'appuie sur des API robustes, des conteneurs Docker, des pratiques CI/CD, la surveillance des modèles et le déploiement de la plateforme cloud.
Ce prototype open source sert de tremplin vers un projet plus complet visant le bien public, mettant en valeur l’immense potentiel des technologies avancées d’IA dans les applications quotidiennes. J'adresse ma plus vive gratitude à Tech Consulting Partners pour m'avoir confié cette initiative et pour leur précieux soutien tout au long du processus de développement.
Ce projet est sous licence MIT - voir le fichier LICENSE pour plus de détails.
Nous espérons que vous apprécierez ConversAI ! Pour toute question ou commentaire, veuillez nous contacter via le référentiel du projet ou par e-mail.
