webscraping and ai

Pengikisan Web dan AI

Kumpulan teknik dan implementasi web scraping modern yang menggabungkan scraping tradisional dengan kemampuan AI. Repositori ini menampilkan pendekatan berbeda dari solusi tradisional BeautifulSoup hingga solusi berbasis LLM, dengan contoh nyata, metrik kinerja, dan analisis biaya.

Isi

• CODECON 2024 #ZILINA Slide / Kode

Panduan Instalasi

1. Ciptakan lingkungan:

conda create -n webscrape python=3.12

2. Aktifkan lingkungan:

conda activate webscrape

3. Instal UV:

pip install uv

4. Instal dependensi:

uv pip install -r requirements.txt

5. Instal Penulis Drama:

playwright install

Pengaturan Lingkungan

Buat file .env dengan:

 LITELLM_API_KEY=
LITELLM_URL=

---