webscraping and ai

Web Scraping et IA

Une collection de techniques et d'implémentations modernes de scraping Web qui combinent le scraping traditionnel avec des capacités d'IA. Le référentiel présente différentes approches, des solutions traditionnelles BeautifulSoup aux solutions basées sur LLM, avec des exemples concrets, des mesures de performances et une analyse des coûts.

Contenu

• CODECON 2024 #ZILINA Diapositives / Code

Guide d'installation

1. Créer un environnement :

conda create -n webscrape python=3.12

2. Activer l'environnement :

conda activate webscrape

3. Installer UV :

pip install uv

4. Installer les dépendances :

uv pip install -r requirements.txt

5. Installer le dramaturge :

playwright install

Configuration de l'environnement

Créez un fichier .env avec :

 LITELLM_API_KEY=
LITELLM_URL=

---