webscraping and ai

การขูดเว็บและ AI

คอลเลกชันของเทคนิคการขูดเว็บสมัยใหม่และการใช้งานที่รวมเอาการขูดแบบดั้งเดิมเข้ากับความสามารถของ AI พื้นที่เก็บข้อมูลนำเสนอแนวทางต่างๆ ตั้งแต่ BeautifulSoup แบบดั้งเดิมไปจนถึงโซลูชันที่ขับเคลื่อนด้วย LLM พร้อมด้วยตัวอย่างที่เป็นรูปธรรม ตัวชี้วัดประสิทธิภาพ และการวิเคราะห์ต้นทุน

เนื้อหา

• CODECON 2024 #ZILINA สไลด์/โค้ด

คู่มือการติดตั้ง

1. สร้างสภาพแวดล้อม:

conda create -n webscrape python=3.12

2. เปิดใช้งานสภาพแวดล้อม:

conda activate webscrape

3. ติดตั้งยูวี:

pip install uv

4. ติดตั้งการพึ่งพา:

uv pip install -r requirements.txt

5. ติดตั้งนักเขียนบทละคร:

playwright install

การตั้งค่าสภาพแวดล้อม

สร้างไฟล์ .env ด้วย:

 LITELLM_API_KEY=
LITELLM_URL=

---