pytorch keynote 2024

PyTorch 키노트 2024 데모

개요

이 프로젝트는 PyTorch 컨퍼런스 2024를 위해 만들어진 PyTorch 기능을 보여주는 독특한 데모입니다. 이 프로젝트는 컴퓨터 비전과 오디오 합성을 결합하여 입력 이미지를 기반으로 멜로디 사운드를 생성합니다. 이 애플리케이션은 PyTorch 신경망을 사용하여 이미지를 분석하고 특징을 추출한 다음 다양한 전자 스타일 음악을 만드는 데 사용됩니다. 이 클라우드 기반 오픈 소스 프로젝트는 창의적인 애플리케이션에서 기계 학습의 힘을 보여줍니다.

특징

• 이미지를 업로드하고 해당 이미지를 기반으로 한 독특한 음악 작품을 받아보세요.
• 맞춤형 CNN 모델을 사용한 PyTorch 기반 이미지 분석
• 이미지 특징에 영향을 받는 역동적인 음악 생성
• 쉬운 상호작용을 위한 웹 기반 인터페이스
• 간단한 배포 및 확장성을 위한 Docker화된 애플리케이션
• 클라우드 네이티브 배포를 위한 Kubernetes 구성

기술 스택

• 프런트엔드: 스타일링을 위해 Tailwind CSS로 반응
• 백엔드: API용 Flask-CORS가 포함된 Flask
• ML 프레임워크: 이미지 분석을 위한 PyTorch
• 오디오 처리: 사운드 생성을 위한 NumPy 및 SciPy
• 이미지 처리: 이미지 처리를 위한 필로우(PIL)
• 컨테이너화: Docker 및 Docker Compose
• 오케스트레이션: 쿠버네티스

전제 조건

• 로컬 개발을 위한 Docker 및 Docker Compose
• 클라우드 배포를 위한 Kubernetes 클러스터(Kind는 로컬 Kubernetes 개발에 사용할 수 있음)

시작하기

지역 개발

1. 저장소를 복제합니다.

   git clone https://github.com/onlydole/pytorch-keynote-2024.git
   cd pytorch-keynote-2024

2. Docker 컨테이너를 빌드하고 실행합니다.

   docker compose up --build

3. 웹 브라우저를 열고 http://localhost:8080 으로 이동합니다.

쿠버네티스 배포

1. Kubernetes 클러스터가 없는 경우 Kind를 사용하여 로컬로 만들 수 있습니다.

   kind create cluster --config cluster.yml

2. Kubernetes 구성을 적용합니다.

   kubectl apply -f kubernetes/

3. 애플리케이션에 액세스합니다.

   • 종류: 포트 전달을 사용하여 서비스에 액세스

     kubectl port-forward service/pytorch-music-service 8080:8080

4. 웹 브라우저를 열고 http://localhost:8080 으로 이동합니다.

작동 방식

1. 사용자는 React 기반 웹 인터페이스를 통해 이미지를 업로드합니다.
2. 이미지는 Flask 백엔드로 전송됩니다.
3. 이미지는 맞춤형 PyTorch CNN으로 처리되어 다양한 특징을 추출합니다.
4. 이러한 기능은 음악 생성의 다양한 측면에 영향을 미칩니다.
5. 백엔드는 고유한 오디오 클립을 생성합니다.
6. 생성된 오디오는 재생을 위해 사용자의 브라우저로 다시 전송됩니다.

스크립트

• startup.sh : 애플리케이션을 시작하는 스크립트
• shutdown.sh : 애플리케이션을 종료하는 스크립트

기여

우리는 기여를 환영합니다! 언제든지 Pull Request를 제출해 주세요.

CI/CD

이 프로젝트에서는 컨테이너 이미지를 빌드하고 게시하기 위해 GitHub Actions를 사용합니다. 이 README 상단에 있는 배지를 사용하여 최신 실행 상태를 볼 수 있습니다.

특허

이 프로젝트는 Apache License 2.0에 따라 라이센스가 부여됩니다. 자세한 내용은 LICENSE 파일을 참조하세요.

감사의 말

• 강력한 딥 러닝 프레임워크를 제공하는 PyTorch 팀
• 경량 웹 프레임워크를 위한 Flask 팀
• 프론트엔드 라이브러리를 위한 React 팀
• 이 프로젝트에 사용된 다양한 도구와 라이브러리에 대한 오픈 소스 커뮤니티