webscraping and ai

Web Scraping und KI

Eine Sammlung moderner Web-Scraping-Techniken und -Implementierungen, die traditionelles Scraping mit KI-Funktionen kombinieren. Das Repository stellt verschiedene Ansätze von traditionellem BeautifulSoup bis hin zu LLM-basierten Lösungen vor, mit konkreten Beispielen, Leistungsmetriken und Kostenanalysen.

Inhalt

• CODECON 2024 #ZILINA Folien / Code

Installationsanleitung

1. Umgebung erstellen:

conda create -n webscrape python=3.12

2. Umgebung aktivieren:

conda activate webscrape

3. UV installieren:

pip install uv

4. Abhängigkeiten installieren:

uv pip install -r requirements.txt

5. Playwright installieren:

playwright install

Umgebungseinrichtung

Erstellen Sie eine .env Datei mit:

 LITELLM_API_KEY=
LITELLM_URL=

---