webscraping and ai

تجريف الويب والذكاء الاصطناعي

مجموعة من تقنيات وتطبيقات تجريف الويب الحديثة التي تجمع بين التجريف التقليدي وإمكانيات الذكاء الاصطناعي. يعرض المستودع أساليب مختلفة بدءًا من الحلول التقليدية التي تعتمد على برنامج BeautifulSoup وحتى الحلول التي تعتمد على LLM، مع أمثلة ملموسة ومقاييس الأداء وتحليل التكلفة.

محتوى

• كوديكون 2024 #ZILINA الشرائح / الكود

دليل التثبيت

1. خلق البيئة:

conda create -n webscrape python=3.12

2. تفعيل البيئة:

conda activate webscrape

3. تثبيت الأشعة فوق البنفسجية:

pip install uv

4. تثبيت التبعيات:

uv pip install -r requirements.txt

5. تثبيت الكاتب المسرحي:

playwright install

إعداد البيئة

قم بإنشاء ملف .env باستخدام:

 LITELLM_API_KEY=
LITELLM_URL=

---