pytorch keynote 2024

Demo PyTorch Keynote 2024

Ringkasan

Proyek ini adalah demonstrasi unik dari kemampuan PyTorch, yang dibuat untuk Konferensi PyTorch 2024. Proyek ini menggabungkan visi komputer dan sintesis audio untuk menghasilkan suara melodi berdasarkan gambar masukan. Aplikasi ini menggunakan jaringan saraf PyTorch untuk menganalisis gambar dan mengekstrak fitur, yang kemudian digunakan untuk membuat musik bergaya elektronik yang bervariasi. Proyek sumber terbuka dan asli cloud ini menampilkan kekuatan pembelajaran mesin dalam aplikasi kreatif.

Fitur

• Unggah gambar apa pun dan terima komposisi musik unik berdasarkan gambar itu
• Analisis gambar bertenaga PyTorch menggunakan model CNN khusus
• Generasi musik dinamis dipengaruhi oleh fitur gambar
• Antarmuka berbasis web untuk interaksi yang mudah
• Aplikasi docker untuk penerapan dan skalabilitas sederhana
• Konfigurasi Kubernetes untuk penerapan cloud native

Tumpukan Teknologi

• Frontend: Bereaksi dengan Tailwind CSS untuk penataan gaya
• Backend: Flask dengan Flask-CORS untuk API
• Kerangka ML: PyTorch untuk analisis gambar
• Pemrosesan Audio: NumPy dan SciPy untuk menghasilkan suara
• Pemrosesan Gambar: Bantal (PIL) untuk penanganan gambar
• Kontainerisasi: Docker dan Docker Compose
• Orkestrasi: Kubernetes

Prasyarat

• Docker dan Docker Compose untuk pengembangan lokal
• Cluster Kubernetes untuk penerapan cloud (Jenis dapat digunakan untuk pengembangan Kubernetes lokal)

Memulai

Pembangunan Lokal

1. Kloning repositori:

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. Bangun dan jalankan kontainer Docker:

   docker compose up --build

3. Buka browser web Anda dan navigasikan ke http://localhost:8080

Penerapan Kubernetes

1. Jika Anda tidak memiliki cluster Kubernetes, Anda dapat menggunakan Kind untuk membuatnya secara lokal:

   kind create cluster --config cluster.yml

2. Terapkan konfigurasi Kubernetes:

   kubectl apply -f kubernetes/

3. Akses aplikasi:

   • Untuk Jenis: Gunakan penerusan porta untuk mengakses layanan

     kubectl port-forward service/pytorch-music-service 8080:8080

4. Buka browser web Anda dan navigasikan ke http://localhost:8080

Cara Kerjanya

1. Pengguna mengunggah gambar melalui antarmuka web berbasis React.
2. Gambar dikirim ke backend Flask.
3. Gambar diproses oleh CNN PyTorch khusus, mengekstraksi berbagai fitur.
4. Fitur-fitur ini mempengaruhi berbagai aspek generasi musik.
5. Backend menghasilkan klip audio unik.
6. Audio yang dihasilkan dikirim kembali ke browser pengguna untuk diputar.

Skrip

• startup.sh : Script untuk memulai aplikasi
• shutdown.sh : Script untuk mematikan aplikasi

Berkontribusi

Kami menyambut kontribusi! Silakan kirimkan Permintaan Tarik.

CI/CD

Proyek ini menggunakan Tindakan GitHub untuk membuat dan menerbitkan gambar kontainer. Anda dapat melihat status pengoperasian terkini menggunakan lencana di bagian atas README ini.

Lisensi

Proyek ini dilisensikan di bawah Lisensi Apache 2.0. Lihat file LISENSI untuk detailnya.

Ucapan Terima Kasih

• tim PyTorch atas kerangka pembelajaran mendalam mereka yang kuat
• Tim Flask untuk kerangka web ringan
• Tim reaksi untuk perpustakaan frontend
• Komunitas open source untuk berbagai alat dan perpustakaan yang digunakan dalam proyek ini