pytorch keynote 2024

عرض PyTorch الرئيسي 2024

ملخص

يعد هذا المشروع عرضًا فريدًا لقدرات PyTorch، وتم إنشاؤه لمؤتمر PyTorch 2024. فهو يجمع بين رؤية الكمبيوتر والتوليف الصوتي لتوليد أصوات لحنية بناءً على الصور المدخلة. يستخدم التطبيق شبكة PyTorch العصبية لتحليل الصور واستخراج الميزات، والتي يتم استخدامها بعد ذلك لإنشاء موسيقى إلكترونية متنوعة. يعرض هذا المشروع السحابي الأصلي والمفتوح المصدر قوة التعلم الآلي في التطبيقات الإبداعية.

سمات

• قم بتحميل أي صورة واحصل على مقطوعة موسيقية فريدة بناءً على تلك الصورة
• تحليل الصور المدعوم من PyTorch باستخدام نموذج CNN المخصص
• يتأثر توليد الموسيقى الديناميكية بميزات الصورة
• واجهة على شبكة الإنترنت لسهولة التفاعل
• تطبيق Dockerized للنشر البسيط وقابلية التوسع
• تكوين Kubernetes للنشر السحابي الأصلي

مكدس التكنولوجيا

• الواجهة الأمامية: التفاعل مع Tailwind CSS للتصميم
• الواجهة الخلفية: قارورة مع Flask-CORS لـ API
• ML Framework: PyTorch لتحليل الصور
• معالجة الصوت: NumPy وSciPy لتوليد الصوت
• معالجة الصور: وسادة (PIL) لمعالجة الصور
• الحاويات: Docker وDocker Compose
• التنسيق: كوبرنيتيس

المتطلبات الأساسية

• Docker وDocker Compose للتنمية المحلية
• مجموعة Kubernetes للنشر السحابي (يمكن استخدام Kind لتطوير Kubernetes المحلي)

ابدء

التنمية المحلية

1. استنساخ المستودع:

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. بناء وتشغيل حاوية Docker:

   docker compose up --build

3. افتح متصفح الويب الخاص بك وانتقل إلى http://localhost:8080

نشر Kubernetes

1. إذا لم يكن لديك مجموعة Kubernetes، فيمكنك استخدام Kind لإنشاء واحدة محليًا:

   kind create cluster --config cluster.yml

2. تطبيق تكوينات Kubernetes:

   kubectl apply -f kubernetes/

3. الوصول إلى التطبيق:

   • بالنسبة للنوع: استخدم إعادة توجيه المنفذ للوصول إلى الخدمة

     kubectl port-forward service/pytorch-music-service 8080:8080

4. افتح متصفح الويب الخاص بك وانتقل إلى http://localhost:8080

كيف يعمل

1. يقوم المستخدم بتحميل صورة من خلال واجهة الويب المستندة إلى React.
2. يتم إرسال الصورة إلى الواجهة الخلفية لـ Flask.
3. تتم معالجة الصورة بواسطة PyTorch CNN المخصص، لاستخراج ميزات متنوعة.
4. تؤثر هذه الميزات على جوانب مختلفة من توليد الموسيقى.
5. تنشئ الواجهة الخلفية مقطعًا صوتيًا فريدًا.
6. يتم إرسال الصوت الذي تم إنشاؤه مرة أخرى إلى متصفح المستخدم للتشغيل.

البرامج النصية

• startup.sh : البرنامج النصي لبدء التطبيق
• shutdown.sh : البرنامج النصي لإيقاف التطبيق

المساهمة

نحن نرحب بالمساهمات! لا تتردد في تقديم طلب السحب.

سي آي/سي دي

يستخدم هذا المشروع إجراءات GitHub لإنشاء صورة الحاوية ونشرها. يمكنك عرض حالة التشغيل الأخيرة باستخدام الشارات الموجودة أعلى ملف التمهيد هذا.

رخصة

تم ترخيص هذا المشروع بموجب ترخيص Apache 2.0. راجع ملف الترخيص للحصول على التفاصيل.

شكر وتقدير

• فريق PyTorch لإطار التعلم العميق القوي الخاص بهم
• فريق Flask لإطار الويب خفيف الوزن
• رد فعل فريق لمكتبة الواجهة الأمامية
• مجتمع مفتوح المصدر لمختلف الأدوات والمكتبات المستخدمة في هذا المشروع