pytorch keynote 2024

PyTorch 2024 年主題演講演示

概述

該專案是為 PyTorch Conference 2024 創建的 PyTorch 功能的獨特演示。該應用程式使用 PyTorch 神經網路來分析圖像並提取特徵，然後用於創建各種電子風格的音樂。這個雲端原生開源專案展示了機器學習在創意應用程式中的力量。

特徵

• 上傳任何圖像並收到基於該圖像的獨特音樂作品
• 使用自訂 CNN 模型進行 PyTorch 支援的影像分析
• 受影像特徵影響的動態音樂生成
• 網路為基礎的介面，方便交互
• Docker 化的應用程式可實現簡單的部署和可擴充性
• 雲端原生部署的 Kubernetes 配置

技術堆疊

• 前端：使用 Tailwind CSS 進行樣式回應
• 後端：帶有 Flask-CORS API 的 Flask
• 機器學習框架：用於影像分析的 PyTorch
• 音訊處理：用於聲音產生的 NumPy 和 SciPy
• 影像處理：用於影像處理的 Pillow (PIL)
• 容器化：Docker 和 Docker Compose
• 編排：Kubernetes

先決條件

• 用於本地開發的 Docker 和 Docker Compose
• 用於雲端部署的Kubernetes叢集（Kind可用於本機Kubernetes開發）

入門

本地發展

1. 克隆儲存庫：

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. 建置並運行 Docker 容器：

   docker compose up --build

3. 開啟 Web 瀏覽器並導航至http://localhost:8080

Kubernetes 部署

1. 如果您沒有 Kubernetes 集群，可以使用 Kind 在本地建立一個集群：

   kind create cluster --config cluster.yml

2. 應用 Kubernetes 設定：

   kubectl apply -f kubernetes/

3. 存取應用程式：

   • For Kind：使用連接埠轉送存取服務

     kubectl port-forward service/pytorch-music-service 8080:8080

4. 開啟 Web 瀏覽器並導航至http://localhost:8080

它是如何運作的

1. 使用者透過基於 React 的 Web 介面上傳圖像。
2. 圖像被傳送到 Flask 後端。
3. 該圖像由自訂 PyTorch CNN 處理，提取各種特徵。
4. 這些特徵影響音樂生成的不同面向。
5. 後端產生一個獨特的音訊剪輯。
6. 產生的音訊會被傳送回使用者的瀏覽器進行播放。

腳本

• startup.sh ：啟動應用程式的腳本
• shutdown.sh ：關閉應用程式的腳本

貢獻

我們歡迎貢獻！請隨時提交 Pull 請求。

持續整合/持續交付

該專案使用 GitHub Actions 來建立和發布容器映像。您可以使用本自述文件頂部的徽章查看最新的運作狀態。

執照

此專案根據 Apache License 2.0 授權。有關詳細信息，請參閱許可證文件。

致謝

• PyTorch 團隊提供強大的深度學習框架
• Flask 團隊打造輕量級 Web 框架
• 前端函式庫的 React 團隊
• 本專案中使用的各種工具和庫的開源社區