universal web scraper using generative ai

Web Scraper intelligent et universel : extraction de données sans effort, optimisée par l'IA générative ?

Le Smart & Universal Web Scrapper est un outil d'extraction de données intelligent optimisé par Generative AI. Il simplifie le processus de récupération des données de n'importe quel site Web en permettant aux utilisateurs de fournir le lien du site Web et les champs de données requis. Grâce à ses capacités polyvalentes, cet outil peut extraire des données de manière transparente et les présenter sous forme de tableau, qui peut être téléchargé dans différents formats tels qu'Excel, JSON ou Markdown. Son interface intelligente et conviviale garantit une extraction de données efficace et précise pour tous vos besoins de web scraping.

Comment ça marche

1. Lancez l'application : ouvrez Universal Web Scrapper sur votre système.
2. Sélectionnez un modèle LLM : choisissez le modèle LLM (Large Language Model) souhaité parmi les options disponibles.
3. Saisissez le lien du site Web : collez l'URL du site Web à partir duquel vous souhaitez récupérer des données.
4. Définir les champs de données : spécifiez les champs de données que vous souhaitez extraire du site Web.
5. Extraction automatique des données : l'application récupère intelligemment les données et les organise dans un tableau clair et structuré.
6. Téléchargez les données : exportez les données récupérées dans votre format préféré (Excel, JSON, Markdown).

Il exploite les technologies suivantes :

Python: Python est un langage de programmation populaire et polyvalent connu pour sa simplicité et sa lisibilité. Il est largement utilisé pour diverses applications, notamment le développement Web, l'analyse de données, l'apprentissage automatique et les tâches d'automatisation. Le vaste écosystème de bibliothèques et de frameworks de Python en fait un outil puissant pour les développeurs.

LLaMA 3.1 (70b): LLaMA (Lean Large-Language Model) est une famille de grands modèles de langage développés par Meta AI. La version 3.1 (70b) fait référence à une variante de modèle spécifique avec 70 milliards de paramètres. Les grands modèles de langage comme LLaMA sont formés sur de grandes quantités de données textuelles, ce qui leur permet de comprendre et de générer du texte de type humain pour diverses tâches de traitement du langage naturel.

Groq API: l'API Groq donne accès à la puissante plateforme d'inférence d'IA de Groq. Il permet aux développeurs d’exploiter leur matériel et leurs logiciels avancés pour une exécution rapide et efficace de modèles d’IA.

Streamlit: Streamlit est une bibliothèque Python open source qui simplifie le processus de création d'applications Web interactives de visualisation de données et d'apprentissage automatique. Il permet aux développeurs de créer des interfaces utilisateur en écrivant des scripts Python, facilitant ainsi le partage d'applications basées sur les données avec d'autres.

Exécution du projet

1. Forkez ou clonez le référentiel : :

Forkez ou clonez ce référentiel sur votre machine locale à l'aide de Git.

2. Exigences d'installation :

Installez les bibliothèques nécessaires.

pip install -r requirements.txt

3. Configurer les variables d'environnement :

Créez un fichier .env dans le répertoire de votre projet et ajoutez toutes les clés API requises (par exemple, la clé API Google, la clé API Groq).

4. Exécutez le fichier d'application simplifié :

streamlit run app.py

Licence :

Licence publique générale GNU v3.0

Suis-moi :

Auteurs

• @Adrit Pal

• Si vous aimez mon travail et qu'il vous a aidé de toute façon, s'il vous plaît, faites le référentiel, cela me motivera à réaliser des projets plus étonnants.