pytorch keynote 2024

Démo PyTorch Keynote 2024

Aperçu

Ce projet est une démonstration unique des capacités de PyTorch, créée pour la conférence PyTorch 2024. Il combine la vision par ordinateur et la synthèse audio pour générer des sons mélodiques basés sur des images d'entrée. L'application utilise un réseau neuronal PyTorch pour analyser les images et extraire des caractéristiques, qui sont ensuite utilisées pour créer une musique variée de style électronique. Ce projet open source cloud natif met en valeur la puissance de l’apprentissage automatique dans les applications créatives.

Caractéristiques

• Téléchargez n'importe quelle image et recevez une composition musicale unique basée sur cette image
• Analyse d'images basée sur PyTorch à l'aide d'un modèle CNN personnalisé
• Génération de musique dynamique influencée par les caractéristiques de l'image
• Interface Web pour une interaction facile
• Application Dockerisée pour un déploiement et une évolutivité simples
• Configuration Kubernetes pour un déploiement cloud natif

Pile technologique

• Frontend : réagissez avec Tailwind CSS pour le style
• Backend : Flask avec Flask-CORS pour API
• ML Framework : PyTorch pour l'analyse d'images
• Traitement audio : NumPy et SciPy pour la génération de sons
• Traitement d'image : Oreiller (PIL) pour la gestion des images
• Conteneurisation : Docker et Docker Compose
• Orchestration : Kubernetes

Conditions préalables

• Docker et Docker Compose pour le développement local
• Cluster Kubernetes pour le déploiement cloud (Kind peut être utilisé pour le développement Kubernetes local)

Commencer

Développement local

1. Clonez le dépôt :

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. Créez et exécutez le conteneur Docker :

   docker compose up --build

3. Ouvrez votre navigateur Web et accédez à http://localhost:8080

Déploiement de Kubernetes

1. Si vous n'avez pas de cluster Kubernetes, vous pouvez utiliser Kind pour en créer un localement :

   kind create cluster --config cluster.yml

2. Appliquez les configurations Kubernetes :

   kubectl apply -f kubernetes/

3. Accédez à l'application :

   • Pour Kind : utilisez la redirection de port pour accéder au service

     kubectl port-forward service/pytorch-music-service 8080:8080

4. Ouvrez votre navigateur Web et accédez à http://localhost:8080

Comment ça marche

1. L'utilisateur télécharge une image via l'interface Web basée sur React.
2. L'image est envoyée au backend Flask.
3. L'image est traitée par un CNN PyTorch personnalisé, extrayant diverses fonctionnalités.
4. Ces fonctionnalités influencent différents aspects de la génération musicale.
5. Le backend génère un clip audio unique.
6. L'audio généré est renvoyé au navigateur de l'utilisateur pour la lecture.

Scripts

• startup.sh : Script pour démarrer l'application
• shutdown.sh : Script pour arrêter l'application

Contribuer

Nous apprécions les contributions ! N'hésitez pas à soumettre une Pull Request.

CI/CD

Ce projet utilise GitHub Actions pour créer et publier l'image du conteneur. Vous pouvez afficher le dernier statut d'exécution à l'aide des badges en haut de ce README.

Licence

Ce projet est sous licence Apache License 2.0. Voir le fichier LICENSE pour plus de détails.

Remerciements

• L'équipe PyTorch pour son puissant framework d'apprentissage en profondeur
• Équipe Flask pour le framework Web léger
• Équipe React pour la bibliothèque frontend
• La communauté open source pour divers outils et bibliothèques utilisés dans ce projet