webscraping and ai

Веб-скрапинг и искусственный интеллект

Коллекция современных методов и реализаций парсинга веб-страниц, сочетающих традиционный парсинг с возможностями искусственного интеллекта. В репозитории представлены различные подходы — от традиционных BeautifulSoup до решений на базе LLM — с конкретными примерами, показателями производительности и анализом затрат.

Содержание

• CODECON 2024 #ZILINA Слайды / Код

Руководство по установке

1. Создать среду:

conda create -n webscrape python=3.12

2. Активировать среду:

conda activate webscrape

3. Установить УФ:

pip install uv

4. Установите зависимости:

uv pip install -r requirements.txt

5. Установить Драматург:

playwright install

Настройка среды

Создайте файл .env с помощью:

 LITELLM_API_KEY=
LITELLM_URL=

---