gpt automated web scraper

Grattoir Web IA

Ce projet est un grattoir Web alimenté par l'IA qui vous permet d'extraire des informations à partir de sources HTML en fonction des exigences définies par l'utilisateur. Il génère du code de scraping et l’exécute pour récupérer les données souhaitées.

Conditions préalables

Avant d'exécuter AI Web Scraper, assurez-vous que les conditions préalables suivantes sont installées :

• Python 3.x
• Les packages Python requis spécifiés dans le fichier requirements.txt
• Une clé API pour l'OpenAI GPT-4

Installation

1. Clonez le dépôt du projet :

   git clone https://github.com/dirkjbreeuwer/gpt-automated-web-scraper

2. Accédez au répertoire du projet :

    cd gpt-automated-web-scraper

3. Installez les packages Python requis :

   pip install -r requirements.txt

4. Configurez la clé API OpenAI GPT-4 :

   • Obtenez une clé API auprès d'OpenAI en suivant leur documentation.

   • Renommez le fichier appelé .env.example en .env dans le répertoire du projet.

   • Ajoutez la ligne suivante au fichier .env , en remplaçant YOUR_API_KEY par votre clé API réelle :

      OPENAI_API_KEY=YOUR_API_KEY
     

Usage

Pour utiliser AI Web Scraper, exécutez le script gpt-scraper.py avec les arguments de ligne de commande souhaités.

Arguments de ligne de commande

Les arguments de ligne de commande suivants sont disponibles :

• --source : L'URL ou le chemin local vers la source HTML à récupérer.
• --source-type : Type de la source. Spécifiez soit "url" soit "file" .
• --requirements : exigences définies par l'utilisateur pour le scraping.
• --target-string : en raison de la limite maximale de jetons de GPT-4 (4 000 jetons), le modèle d'IA traite un sous-ensemble plus petit du code HTML où se trouvent les données souhaitées. La chaîne cible doit être un exemple de chaîne pouvant être trouvée sur le site Web que vous souhaitez récupérer.

Exemple d'utilisation

Voici quelques exemples de commandes pour utiliser AI Web Scraper :

python3 gpt-scraper.py --source-type " url " --source " https://www.scrapethissite.com/pages/forms/ " --requirements " Print a JSON file with all the information available for the Chicago Blackhawks " --target-string " Chicago Blackhawks "

Remplacez les valeurs de --source , --requirements et --target-string par vos valeurs spécifiques.

Licence

Ce projet est sous licence MIT. N'hésitez pas à le modifier et à l'utiliser selon vos besoins.