pytorch keynote 2024

PyTorch Keynote 2024 Demo

Überblick

Dieses Projekt ist eine einzigartige Demonstration der Fähigkeiten von PyTorch und wurde für die PyTorch-Konferenz 2024 erstellt. Es kombiniert Computer Vision und Audiosynthese, um melodische Klänge basierend auf Eingabebildern zu erzeugen. Die Anwendung verwendet ein neuronales PyTorch-Netzwerk, um Bilder zu analysieren und Merkmale zu extrahieren, die dann zur Erstellung abwechslungsreicher Musik im elektronischen Stil verwendet werden. Dieses Cloud-native Open-Source-Projekt demonstriert die Leistungsfähigkeit des maschinellen Lernens in kreativen Anwendungen.

Merkmale

• Laden Sie ein beliebiges Bild hoch und erhalten Sie eine einzigartige Musikkomposition, die auf diesem Bild basiert
• PyTorch-gestützte Bildanalyse mit einem benutzerdefinierten CNN-Modell
• Dynamische Musikgenerierung beeinflusst durch Bildmerkmale
• Webbasierte Schnittstelle für einfache Interaktion
• Dockerisierte Anwendung für einfache Bereitstellung und Skalierbarkeit
• Kubernetes-Konfiguration für die Cloud-native Bereitstellung

Tech-Stack

• Frontend: Reagieren Sie mit Tailwind CSS für das Styling
• Backend: Flask mit Flask-CORS für API
• ML Framework: PyTorch zur Bildanalyse
• Audioverarbeitung: NumPy und SciPy zur Klangerzeugung
• Bildverarbeitung: Kissen (PIL) für die Bildverarbeitung
• Containerisierung: Docker und Docker Compose
• Orchestrierung: Kubernetes

Voraussetzungen

• Docker und Docker Compose für die lokale Entwicklung
• Kubernetes-Cluster für die Cloud-Bereitstellung (Art kann für die lokale Kubernetes-Entwicklung verwendet werden)

Erste Schritte

Lokale Entwicklung

1. Klonen Sie das Repository:

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. Erstellen Sie den Docker-Container und führen Sie ihn aus:

   docker compose up --build

3. Öffnen Sie Ihren Webbrowser und navigieren Sie zu http://localhost:8080

Kubernetes-Bereitstellung

1. Wenn Sie keinen Kubernetes-Cluster haben, können Sie mit Kind einen lokal erstellen:

   kind create cluster --config cluster.yml

2. Wenden Sie die Kubernetes-Konfigurationen an:

   kubectl apply -f kubernetes/

3. Greifen Sie auf die Anwendung zu:

   • Für Art: Verwenden Sie die Portweiterleitung, um auf den Dienst zuzugreifen

     kubectl port-forward service/pytorch-music-service 8080:8080

4. Öffnen Sie Ihren Webbrowser und navigieren Sie zu http://localhost:8080

Wie es funktioniert

1. Der Benutzer lädt ein Bild über die React-basierte Weboberfläche hoch.
2. Das Bild wird an das Flask-Backend gesendet.
3. Das Bild wird von einem benutzerdefinierten PyTorch-CNN verarbeitet und verschiedene Funktionen extrahiert.
4. Diese Merkmale beeinflussen verschiedene Aspekte der Musikgenerierung.
5. Das Backend generiert einen einzigartigen Audioclip.
6. Das generierte Audio wird zur Wiedergabe an den Browser des Benutzers zurückgesendet.

Skripte

• startup.sh : Skript zum Starten der Anwendung
• shutdown.sh : Skript zum Herunterfahren der Anwendung

Mitwirken

Wir freuen uns über Beiträge! Bitte senden Sie gerne einen Pull Request.

CI/CD

Dieses Projekt verwendet GitHub Actions zum Erstellen und Veröffentlichen des Container-Images. Sie können den neuesten Laufstatus mithilfe der Abzeichen oben in dieser README-Datei anzeigen.

Lizenz

Dieses Projekt ist unter der Apache-Lizenz 2.0 lizenziert. Einzelheiten finden Sie in der LICENSE-Datei.

Danksagungen

• PyTorch-Team für sein leistungsstarkes Deep-Learning-Framework
• Flask-Team für das leichte Web-Framework
• React-Team für die Frontend-Bibliothek
• Die Open-Source-Community für verschiedene Tools und Bibliotheken, die in diesem Projekt verwendet werden