pytorch keynote 2024

การสาธิต PyTorch Keynote 2024

ภาพรวม

โปรเจ็กต์นี้เป็นการสาธิตความสามารถของ PyTorch ที่ไม่เหมือนใคร ซึ่งสร้างขึ้นสำหรับการประชุม PyTorch Conference 2024 โดยผสมผสานการมองเห็นของคอมพิวเตอร์และการสังเคราะห์เสียงเพื่อสร้างเสียงอันไพเราะตามภาพที่อินพุต แอปพลิเคชั่นนี้ใช้โครงข่ายประสาทเทียม PyTorch เพื่อวิเคราะห์รูปภาพและแยกคุณสมบัติต่างๆ ซึ่งจากนั้นจะใช้เพื่อสร้างเพลงสไตล์อิเล็กทรอนิกส์ที่หลากหลาย โปรเจ็กต์โอเพ่นซอร์สที่เนทีฟบนคลาวด์นี้แสดงให้เห็นถึงพลังของการเรียนรู้ของเครื่องในแอปพลิเคชันเชิงสร้างสรรค์

คุณสมบัติ

• อัปโหลดภาพใดๆ และรับการเรียบเรียงดนตรีที่เป็นเอกลักษณ์ตามภาพนั้น
• การวิเคราะห์ภาพที่ขับเคลื่อนด้วย PyTorch โดยใช้โมเดล CNN แบบกำหนดเอง
• การสร้างเพลงแบบไดนามิกที่ได้รับอิทธิพลจากคุณสมบัติภาพ
• อินเทอร์เฟซบนเว็บเพื่อการโต้ตอบที่ง่ายดาย
• แอปพลิเคชัน Dockerized เพื่อการปรับใช้และความสามารถในการปรับขนาดที่ง่ายดาย
• การกำหนดค่า Kubernetes สำหรับการใช้งานบนคลาวด์เนทิฟ

เทคสแต็ค

• ส่วนหน้า: โต้ตอบกับ Tailwind CSS เพื่อจัดสไตล์
• แบ็กเอนด์: Flask พร้อม Flask-CORS สำหรับ API
• ML Framework: PyTorch สำหรับการวิเคราะห์ภาพ
• การประมวลผลเสียง: NumPy และ SciPy สำหรับการสร้างเสียง
• การประมวลผลภาพ: Pillow (PIL) สำหรับการจัดการภาพ
• คอนเทนเนอร์: นักเทียบท่าและนักเทียบท่าเขียน
• การเรียบเรียง: Kubernetes

ข้อกำหนดเบื้องต้น

• Docker และ Docker Compose เพื่อการพัฒนาท้องถิ่น
• คลัสเตอร์ Kubernetes สำหรับการปรับใช้บนคลาวด์ (ชนิดสามารถนำมาใช้สำหรับการพัฒนา Kubernetes ในเครื่องได้)

เริ่มต้นใช้งาน

การพัฒนาท้องถิ่น

1. โคลนที่เก็บ:

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. สร้างและรันคอนเทนเนอร์ Docker:

   docker compose up --build

3. เปิดเว็บเบราว์เซอร์ของคุณแล้วไปที่ http://localhost:8080

การปรับใช้ Kubernetes

1. หากคุณไม่มีคลัสเตอร์ Kubernetes คุณสามารถใช้ Kind เพื่อสร้างคลัสเตอร์ในเครื่องได้:

   kind create cluster --config cluster.yml

2. ใช้การกำหนดค่า Kubernetes:

   kubectl apply -f kubernetes/

3. เข้าถึงแอปพลิเคชัน:

   • สำหรับประเภท: ใช้การส่งต่อพอร์ตเพื่อเข้าถึงบริการ

     kubectl port-forward service/pytorch-music-service 8080:8080

4. เปิดเว็บเบราว์เซอร์ของคุณแล้วไปที่ http://localhost:8080

มันทำงานอย่างไร

1. ผู้ใช้อัปโหลดรูปภาพผ่านเว็บอินเตอร์เฟสแบบ React
2. รูปภาพจะถูกส่งไปยังแบ็กเอนด์ Flask
3. รูปภาพได้รับการประมวลผลโดย PyTorch CNN แบบกำหนดเอง โดยแยกคุณสมบัติต่างๆ
4. คุณสมบัติเหล่านี้มีอิทธิพลต่อการสร้างดนตรีในด้านต่างๆ
5. แบ็กเอนด์สร้างคลิปเสียงที่ไม่ซ้ำใคร
6. เสียงที่สร้างขึ้นจะถูกส่งไปยังเบราว์เซอร์ของผู้ใช้เพื่อเล่น

สคริปต์

• startup.sh : สคริปต์เพื่อเริ่มแอปพลิเคชัน
• shutdown.sh : สคริปต์เพื่อปิดแอปพลิเคชัน

มีส่วนร่วม

เรายินดีต้อนรับการมีส่วนร่วม! โปรดส่งคำขอดึง

ซีไอ/ซีดี

โปรเจ็กต์นี้ใช้ GitHub Actions เพื่อสร้างและเผยแพร่อิมเมจคอนเทนเนอร์ คุณสามารถดูสถานะการทำงานล่าสุดได้โดยใช้ป้ายที่ด้านบนของ README นี้

ใบอนุญาต

โครงการนี้ได้รับอนุญาตภายใต้ Apache License 2.0 ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

รับทราบ

• ทีม PyTorch สำหรับกรอบการเรียนรู้เชิงลึกที่ทรงพลัง
• ทีม Flask สำหรับเฟรมเวิร์กเว็บแบบไลท์เวท
• ตอบสนองทีมสำหรับไลบรารีส่วนหน้า
• ชุมชนโอเพ่นซอร์สสำหรับเครื่องมือและไลบรารีต่างๆ ที่ใช้ในโปรเจ็กต์นี้