webscraping and ai

Web Scraping e IA

Uma coleção de técnicas e implementações modernas de web scraping que combinam scraping tradicional com recursos de IA. O repositório apresenta diferentes abordagens, desde soluções tradicionais BeautifulSoup até soluções baseadas em LLM, com exemplos concretos, métricas de desempenho e análise de custos.

Contente

• CODECON 2024 #ZILINA Slides / Código

Guia de instalação

1. Criar ambiente:

conda create -n webscrape python=3.12

2. Ativar ambiente:

conda activate webscrape

3. Instale UV:

pip install uv

4. Instale dependências:

uv pip install -r requirements.txt

5. Instale o dramaturgo:

playwright install

Configuração do ambiente

Crie um arquivo .env com:

 LITELLM_API_KEY=
LITELLM_URL=

---