pytorch keynote 2024

PyTorch 2024 年主题演讲演示

概述

该项目是为 PyTorch Conference 2024 创建的 PyTorch 功能的独特演示。它结合了计算机视觉和音频合成，可根据输入图像生成旋律声音。该应用程序使用 PyTorch 神经网络来分析图像并提取特征，然后用于创建各种电子风格的音乐。这个云原生开源项目展示了机器学习在创意应用程序中的力量。

特征

• 上传任何图像并收到基于该图像的独特音乐作品
• 使用自定义 CNN 模型进行 PyTorch 支持的图像分析
• 受图像特征影响的动态音乐生成
• 基于网络的界面，方便交互
• Docker 化的应用程序可实现简单的部署和可扩展性
• 云原生部署的 Kubernetes 配置

技术堆栈

• 前端：使用 Tailwind CSS 进行样式响应
• 后端：带有 Flask-CORS API 的 Flask
• ML 框架：用于图像分析的 PyTorch
• 音频处理：用于声音生成的 NumPy 和 SciPy
• 图像处理：用于图像处理的 Pillow (PIL)
• 容器化：Docker 和 Docker Compose
• 编排：Kubernetes

先决条件

• 用于本地开发的 Docker 和 Docker Compose
• 用于云端部署的Kubernetes集群（Kind可用于本地Kubernetes开发）

入门

本地发展

1. 克隆存储库：

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. 构建并运行 Docker 容器：

   docker compose up --build

3. 打开 Web 浏览器并导航至http://localhost:8080

Kubernetes 部署

1. 如果您没有 Kubernetes 集群，可以使用 Kind 在本地创建一个集群：

   kind create cluster --config cluster.yml

2. 应用 Kubernetes 配置：

   kubectl apply -f kubernetes/

3. 访问应用程序：

   • For Kind：使用端口转发访问服务

     kubectl port-forward service/pytorch-music-service 8080:8080

4. 打开 Web 浏览器并导航至http://localhost:8080

它是如何运作的

1. 用户通过基于 React 的 Web 界面上传图像。
2. 图像被发送到 Flask 后端。
3. 该图像由自定义 PyTorch CNN 处理，提取各种特征。
4. 这些特征影响音乐生成的不同方面。
5. 后端生成一个独特的音频剪辑。
6. 生成的音频被发送回用户的浏览器进行播放。

脚本

• startup.sh ：启动应用程序的脚本
• shutdown.sh ：关闭应用程序的脚本

贡献

我们欢迎贡献！请随时提交 Pull 请求。

持续集成/持续交付

该项目使用 GitHub Actions 来构建和发布容器映像。您可以使用本自述文件顶部的徽章查看最新的运行状态。

执照

该项目根据 Apache License 2.0 获得许可。有关详细信息，请参阅许可证文件。

致谢

• PyTorch 团队提供强大的深度学习框架
• Flask 团队打造轻量级 Web 框架
• 前端库的 React 团队
• 本项目中使用的各种工具和库的开源社区