webscraping and ai

Web Scraping e IA

Una colección de técnicas e implementaciones modernas de web scraping que combinan el scraping tradicional con capacidades de IA. El repositorio muestra diferentes enfoques, desde BeautifulSoup tradicional hasta soluciones impulsadas por LLM, con ejemplos concretos, métricas de rendimiento y análisis de costos.

Contenido

• CODECON 2024 #ZILINA Diapositivas / Código

Guía de instalación

1. Crear ambiente:

conda create -n webscrape python=3.12

2. Activar entorno:

conda activate webscrape

3. Instalar ultravioleta:

pip install uv

4. Instalar dependencias:

uv pip install -r requirements.txt

5. Instalar dramaturgo:

playwright install

Configuración del entorno

Cree un archivo .env con:

 LITELLM_API_KEY=
LITELLM_URL=

---