pytorch keynote 2024

Демонстрация PyTorch Keynote 2024

Обзор

Этот проект представляет собой уникальную демонстрацию возможностей PyTorch, созданную для PyTorch Conference 2024. Он сочетает в себе компьютерное зрение и синтез звука для генерации мелодичных звуков на основе входных изображений. Приложение использует нейронную сеть PyTorch для анализа изображений и извлечения функций, которые затем используются для создания разнообразной музыки в электронном стиле. Этот облачный проект с открытым исходным кодом демонстрирует возможности машинного обучения в творческих приложениях.

Функции

• Загрузите любое изображение и получите уникальную музыкальную композицию на его основе.
• Анализ изображений на базе PyTorch с использованием пользовательской модели CNN
• Генерация динамической музыки под влиянием особенностей изображения
• Веб-интерфейс для удобного взаимодействия
• Докеризованное приложение для простого развертывания и масштабируемости.
• Конфигурация Kubernetes для собственного облачного развертывания

Технический стек

• Интерфейс: React с Tailwind CSS для стилизации
• Бэкэнд: Flask с Flask-CORS для API
• ML Framework: PyTorch для анализа изображений.
• Обработка звука: NumPy и SciPy для генерации звука.
• Обработка изображений: Подушка (PIL) для обработки изображений.
• Контейнеризация: Docker и Docker Compose
• Оркестровка: Кубернетес

Предварительные условия

• Docker и Docker Compose для локальной разработки
• Кластер Kubernetes для развертывания в облаке (Kind можно использовать для локальной разработки Kubernetes)

Начиная

Местное развитие

1. Клонируем репозиторий:

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. Создайте и запустите контейнер Docker:

   docker compose up --build

3. Откройте веб-браузер и перейдите по адресу http://localhost:8080

Развертывание Кубернетеса

1. Если у вас нет кластера Kubernetes, вы можете использовать Kind для его локального создания:

   kind create cluster --config cluster.yml

2. Примените конфигурации Kubernetes:

   kubectl apply -f kubernetes/

3. Доступ к приложению:

   • Для доброты: используйте переадресацию портов для доступа к услуге.

     kubectl port-forward service/pytorch-music-service 8080:8080

4. Откройте веб-браузер и перейдите по адресу http://localhost:8080

Как это работает

1. Пользователь загружает изображение через веб-интерфейс на основе React.
2. Изображение отправляется на серверную часть Flask.
3. Изображение обрабатывается специальной CNN PyTorch, извлекая различные функции.
4. Эти особенности влияют на различные аспекты создания музыки.
5. Серверная часть генерирует уникальный аудиоклип.
6. Сгенерированный звук отправляется обратно в браузер пользователя для воспроизведения.

Скрипты

• startup.sh : Скрипт для запуска приложения.
• shutdown.sh : скрипт для закрытия приложения.

Содействие

Мы приветствуем вклады! Пожалуйста, не стесняйтесь отправить запрос на включение.

CI/CD

В этом проекте для создания и публикации образа контейнера используются действия GitHub. Вы можете просмотреть статус последнего запуска, используя значки в верхней части этого файла README.

Лицензия

Этот проект распространяется по лицензии Apache License 2.0. Подробности смотрите в файле ЛИЦЕНЗИИ.

Благодарности

• Команде PyTorch за мощную среду глубокого обучения.
• Команда Flask для облегченного веб-фреймворка
• Команда React для фронтенд-библиотеки
• Сообщество открытого исходного кода для различных инструментов и библиотек, используемых в этом проекте.