kagglehub
release
قم بتثبيت حزمة kagglehub بالنقطة:
pip install kagglehub
المصادقة مطلوبة فقط للوصول إلى الموارد العامة التي تتطلب موافقة المستخدم أو الموارد الخاصة.
أولاً، ستحتاج إلى حساب Kaggle. يمكنك الاشتراك هنا.
بعد تسجيل الدخول، يمكنك تنزيل بيانات اعتماد Kaggle API الخاصة بك على https://www.kaggle.com/settings بالنقر فوق الزر "إنشاء رمز مميز جديد" ضمن قسم "API".
لديك 3 خيارات مختلفة للمصادقة.
سيطالبك هذا بإدخال اسم المستخدم والرمز المميز الخاص بك:
استيراد kagglehubkagglehub.login ()
يمكنك أيضًا اختيار تصدير اسم مستخدم Kaggle ورمزه المميز إلى البيئة:
تصدير KAGGLE_USERNAME=datadinosaurexport KAGGLE_KEY=xxxxxxxxxxxxxxx
kaggle.json قم بتخزين ملف بيانات اعتماد kaggle.json الخاص بك على ~/.kaggle/kaggle.json .
وبدلاً من ذلك، يمكنك تعيين متغير البيئة KAGGLE_CONFIG_DIR لتغيير هذا الموقع إلى $KAGGLE_CONFIG_DIR/kaggle.json .
ملاحظة لمستخدمي Windows: الدليل الافتراضي هو %HOMEPATH%/kaggle.json .
قم بتخزين اسم المستخدم الخاص بك ورمز المفتاح كأسرار Colab KAGGLE_USERNAME و KAGGLE_KEY .
يمكن العثور على تعليمات حول إضافة الأسرار في كل من Colab وColab Enterprise في هذه المقالة.
تقوم الأمثلة التالية بتنزيل صيغة answer-equivalence-bem لنموذج Kaggle هذا: https://www.kaggle.com/models/google/bert/tensorFlow2/answer-equvalence-bem
import kagglehub# تنزيل الإصدار الأحدث.kagglehub.model_download('google/bert/tensorFlow2/answer-equvalence-bem')# تنزيل إصدار محدد.kagglehub.model_download('google/bert/tensorFlow2/answer-equvalence-bem/1 ')# قم بتنزيل أغنية واحدة file.kagglehub.model_download('google/bert/tensorFlow2/answer-equvalence-bem', path='variables/variables.index')# تنزيل نموذج أو ملف، حتى لو تم تنزيله مسبقًا إلى ذاكرة التخزين المؤقت.kagglehub.model_download('google /bert/tensorFlow2/answer-equvalence-bem', force_download=True)تحميل شكل جديد (أو إصدار شكل جديد إذا كان موجودًا بالفعل).
import kagglehub# على سبيل المثال، لتحميل شكل جديد لهذا النموذج:# - https://www.kaggle.com/models/google/bert/tensorFlow2/answer-equvalence-bem# # يمكنك استخدام المقبض التالي: ` google/bert/tensorFlow2/answer-equvalence-bem`handle = '<KAGGLE_USERNAME>/<MODEL>/<FRAMEWORK>/<VARIATION>'local_model_dir = 'path/to/local/model/dir'kagglehub.model_upload(handle, local_model_dir)# يمكنك أيضًا تحديد بعض ملاحظات الإصدار (اختياري)kagglehub .model_upload(handle, local_model_dir, version_notes='دقة محسنة')# يمكنك أيضًا تحديد ترخيص (اختياري)kagglehub.model_upload(handle, local_model_dir, License_name='Apache 2.0')# يمكنك أيضًا تحديد قائمة أنماط للملفات/الأديرة لتجاهلها.# يتم دمج هذه الأنماط مع `kagglehub.models.DEFAULT_IGNORE_PATTERNS` # لتحديد الملفات والدلائل التي سيتم استبعادها. # لتجاهل الأدلة بأكملها، قم بتضمين شرطة مائلة (/) في Pattern.kagglehub.model_upload(handle, local_model_dir,ignore_patterns=["original/", "*.tmp"])
تقوم الأمثلة التالية بتنزيل مجموعة بيانات Spotify Recommendation Kaggle: https://www.kaggle.com/datasets/bricevergnou/spotify-recommendation
import kagglehub# تنزيل الإصدار الأحدث.kagglehub.dataset_download('bricevergnou/spotify-recommendation')# تنزيل إصدار محدد.kagglehub.dataset_download('bricevergnou/spotify-recommendation/versions/1')# تنزيل نسخة واحدة filekagglehub.dataset_download('bricevergnou/spotify-recommendation', path='data.csv')# قم بتنزيل مجموعة بيانات أو ملف، حتى إذا تم تنزيله مسبقًا إلى ذاكرة التخزين المؤقت.kagglehub.dataset_download('bricevergnou/spotify-recommendation', force_download=True)تحميل مجموعة بيانات جديدة (أو إصدار جديد إذا كان موجودًا بالفعل).
import kagglehub# على سبيل المثال، لتحميل مجموعة بيانات جديدة (أو إصدار) على:# - https://www.kaggle.com/datasets/bricevergnou/spotify-recommendation# # يمكنك استخدام المقبض التالي: `bricevergnou/spotify- التوصية`مقبض = '<KAGGLE_USERNAME>/<DATASET>local_dataset_dir = 'path/to/local/dataset/dir'# إنشاء مجموعة بيانات جديدةkagglehub.dataset_upload(handle, local_dataset_dir)# يمكنك بعد ذلك إنشاء نسخة جديدة من مجموعة البيانات الحالية هذه وتضمين ملاحظات الإصدار (اختياري).kagglehub.dataset_upload(handle, local_dataset_dir , version_notes='improved data')# يمكنك أيضًا تحديد قائمة أنماط للملفات/الأديرة لتجاهلها.# يتم دمج هذه الأنماط مع `kagglehub.datasets.DEFAULT_IGNORE_PATTERNS` # لتحديد الملفات والدلائل التي سيتم استبعادها. # لتجاهل الأدلة بأكملها، قم بتضمين شرطة مائلة (/) في Pattern.kagglehub.dataset_upload(handle, local_dataset_dir,ignore_patterns=["original/", "*.tmp"])
يمكنك تنزيل مسابقة Digit Recognizer Kaggle من خلال الأمثلة التالية: https://www.kaggle.com/competitions/digit-recognizer
import kagglehub# تنزيل أحدث إصدار.kagglehub.competition_download('digit-recognizer')# تنزيل ملف واحدkagglehub.competition_download('digit-recognizer', path='train.csv')# تنزيل مسابقة أو ملف، حتى لو كان سابقًا تم تنزيلها إلى ذاكرة التخزين المؤقت. kagglehub.competition_download('أداة التعرف على الأرقام'، force_download=True)نستخدم الفتحة لإدارة هذا المشروع.
اتبع هذه التعليمات لتثبيته.
# تشغيل جميع الاختبارات لإصدار بايثون الحالي. اختبار hatch# تشغيل جميع الاختبارات لجميع إصدارات بايثون. اختبار hatch --all# تشغيل جميع الاختبارات لإصدار معين من بايثون. اختبار hatch -py 3.11# تشغيل اختبار واحد filehatch test tests/test_ <SOME_FILE>.py
لإجراء اختبارات التكامل على جهازك المحلي، تحتاج إلى إعداد بيانات اعتماد Kaggle API الخاصة بك. يمكنك القيام بذلك بإحدى الطريقتين الموضحتين في الأقسام السابقة من هذا المستند. الرجوع إلى الأقسام:
استخدام متغيرات البيئة
باستخدام ملف بيانات الاعتماد
بعد إعداد بيانات الاعتماد الخاصة بك عن طريق أي من هذه الطرق، يمكنك تشغيل اختبارات التكامل على النحو التالي:
# قم بتشغيل جميع اختبارات الاختبار التكامل_الاختبارات
kagglehub من المصدر # تنزيل نموذج وطباعة المسار الذي يتم تشغيله python -c "import kagglehub; print('path: ', kagglehub.model_download('google/bert/tensorFlow2/answer-equivalence-bem'))"# تشغيل فحص لينت lint:style يفقس تشغيل الوبر: الكتابة Hatch Run Lint:all # لكليهما# Formathatch run lint:fmt
اختبار الفتحة - الغلاف
بناء فتحة
hatch داخل Dockerيعد هذا مفيدًا للتشغيل في بيئة متسقة والتبديل بسهولة بين إصدارات Python.
يوضح ما يلي كيفية تشغيل hatch run lint:all ولكن هذا يعمل أيضًا مع أي أوامر Hatch أخرى:
# Use default Python version ./docker-hatch run lint:all # Use specific Python version (Must be a valid tag from: https://hub.docker.com/_/python) ./docker-hatch -v 3.9 run lint:all # Run test in docker with specific Python version ./docker-hatch -v 3.9 test
قم بتثبيت الملحقات الموصى بها.
قم بتكوين الفتحة لإنشاء بيئة افتراضية في مجلد المشروع.
hatch config set dirs.env.virtual .env
بعد ذلك، قم بإنشاء جميع بيئات بايثون اللازمة عن طريق تشغيل hatch -e all run tests .
أخيرًا، قم بتكوين vscode لاستخدام إحدى البيئات المحددة: cmd + shift + p -> python: Select Interpreter -> اختر أحد المجلدات الموجودة في ./.env
قامت مكتبة kagglehub بتكوين التسجيل التلقائي الذي يتم تخزينه في مجلد السجل. يتم حل وجهة السجل عبر os.path.expanduser
يحتوي الجدول أدناه على المواقع المحتملة:
| نظام التشغيل | مسار السجل |
|---|---|
| com.osx | /user/$USERNAME/.kaggle/logs/kagglehub.log |
| لينكس | ~/.kaggle/logs/kagglehub.log |
| ويندوز | C:Users%USERNAME%.kagglelogskagglehub.log |
الرجاء تضمين السجل للمساعدة في استكشاف المشكلات وإصلاحها.
