awesome ai music generation

利用 AI 生成令人驚嘆的音樂

歡迎來到「Awesome Music Generation with AI」列表，這是人工智慧和音樂創作交叉領域的資源、項目和框架的精選集合。多年來，在機器學習和深度學習技術進步的推動下，生成音樂領域經歷了重大演進。從演算法作曲到即時音樂生成，人工智慧開啟了新的視野，實現了曾經難以想像的創造力和自動化的融合。

該清單旨在成為愛好者、研究人員和專業人士的綜合中心，匯集了透過人工智慧塑造音樂生成未來的開創性計畫、有影響力的研究論文和最先進的框架。無論您是探索數位前沿的音樂家、突破可能性界限的研究人員，還是旨在將人工智慧驅動的音樂功能整合到應用程式中的開發人員，該合集都將提供豐富的靈感和知識來源。

目錄

• GitHub 項目
• 文章和博客
• 線上課程
• 圖書
• 研究論文
• 影片
• 工具和軟體
• 會議與活動
• 投影片和簡報

GitHub 項目

• Magenta：機器智能的音樂和藝術世代??️（18712 顆星）
• Audiocraft：透過深度學習進行音訊處理和生成的庫，包括 MusicGen，一個具有文字和旋律調節功能的可控音樂生成 LM（17044 顆星）
• Muzic：人工智慧音樂理解和生成？ （3765 顆星）
• musiclm-pytorch：MusicLM 的 PyTorch 實現，MusicLM 是 Google 使用注意力網路進行音樂生成的最先進模型？ （2763 顆星）
• riffusion：即時音樂生成的穩定擴散？ （2727 顆星）
• Mubert-Text-to-Music：使用 Mubert API 示範基於提示的音樂產生的筆記本？ （2674 顆星）
• riffusion-app：在網路應用程式中實現即時音樂生成的穩定擴散？ （2474 顆星）
• Magenta.js：在瀏覽器中透過機器學習生成音樂和藝術??️（1899 顆星）
• AudioLDM2：文字到音訊/音樂生成？ （1733 顆星）
• musegan：音樂生成的人工智慧？ （1602 顆星）
• Radium ：圖形音樂編輯器和下一代追蹤器。 ？
• GRUV ：一個用於演算法音樂產生的 Python 專案。 ?? （798 顆星）
• DeepJ ：用於產生特定風格音樂的深度學習模型。 ？ （717 顆星）
• 使用深度學習產生音樂：使用深度學習產生音樂的資源。 ？ （700 顆星）
• Musika ：快速無限波形音樂生成。 ?? （646 顆星）
• 音樂生成研究：音樂生成研究資源的集合。 ?? （516 顆星）
• MusPy ：用於符號音樂產生的工具包。 ?? （387 顆星）
• MusicGenerator ：使用 TensorFlow 嘗試各種深度學習模型來產生音樂。 ?? （309 顆星）
• MuseTree ：為現實世界產生人工智慧音樂。 ?? （215 顆星）
• VampNET ：用蒙面變形金剛生成音樂！ ?? （204 顆星）

文章和博客

• 簡單且可控的音樂生成：稱為 MusicGen 的單一語言模型 (LM)，它對壓縮的離散音樂表示進行操作，從而可以更好地控制生成的輸出。音樂樣本、程式碼和模型可在提供的連結中取得。
• 基於人工智慧的情緒音樂生成系統：方法回顧：對 AI-AMG 系統進行全面回顧，討論其建構模組，根據核心演算法對現有系統進行分類，並探索基於人工智慧的情緒音樂創作方法。
• Music FaderNets：基於高的可控音樂生成：一個框架（Music FaderNets），用於透過特徵解纏和潛在正則化技術操縱低階屬性來學習高級特徵表示。
• 深度學習的音樂生成 - 挑戰和方向：音樂生成的深度學習方法概述，討論其在創造力和控制方面的局限性。
• MusPy：符號音樂產生工具包：介紹 MusPy，這是一個用於符號音樂產生的開源 Python 庫，提供資料集管理、資料預處理和模型評估工具。還包括支援的數據集的統計分析。
• 支援使用變分循環自動編碼器產生音樂：引入新的網路架構，歷史支援的變分自動編碼器，用於產生更長的旋律模式。過濾啟發法用於增強生成的音樂。
• 使用擴散模型產生符號音樂：將擴散模型應用於符號音樂建模，展示了強大的生成和條件填充結果。
• Magenta：一個研究項目，探索機器學習在藝術和音樂創作中的作用。
• 如何使用 Python 生成音樂：基礎知識：一篇討論使用 Python 生成音樂的基礎知識的文章，重點介紹了它在程式化 MIDI 生成中的使用。
• MidiNet：卷積生成對抗網絡，用於：研究使用卷積神經網絡 (CNN) 在符號域中生成旋律、引入條件機制並擴展到多個 MIDI 通道。
• 音樂生成人工智慧的調查：代理商......
• 這篇調查論文探討了人工智慧（AI）音樂生成領域，並討論了模仿音樂生成過程的人工智慧系統的作曲技術和進展。它也強調了資料集、模型、介面和使用者在音樂生成過程中的作用，以及潛在的應用和未來的研究方向。
• 用人工智慧生成音樂？
• 本文深入介紹如何使用循環神經網路 (RNN) 透過機器學習來產生音樂。它可以複習基於 RNN 的文本生成技術。
• 從人工神經網路到音樂深度學習...
• 本文探討了深度學習技術在音樂生成的應用。它提供了有關如何使用深度學習自動學習音樂風格並產生音樂樣本的教程。
• Noise2Music：具有擴散功能的文字調節音樂生成...
• 這項研究引入了 Noise2Music，這是一個利用擴散模型根據文字提示產生高品質音樂剪輯的系統。它演示了生成的音訊如何捕捉文本中指定的流派、節奏、樂器、情緒和時代。
• 分類變分自動編碼器及其應用...？
• 本文提出了一種基於變分自動編碼器（VAE）框架的演算法音樂生成模型。該模型包含一個分類器來推斷建模資料的離散類別，從而允許產生不同調的音樂序列。
• 從 WaveNet 產生環境音樂
• 這篇文章討論了使用 Google DeepMind 的 WaveNet（一種音訊生成模型）生成環境音樂的動機和方法。
• 使用 LSTM 神經網路生成音樂
• 這篇部落格文章介紹如何使用長短期記憶 (LSTM) 神經網路來產生音樂。它涵蓋了對現有 LSTM 模型的改進。
• 符號音樂生成的離散擴散機率模型？
• 這項工作介紹了使用離散擴散機率模型（DDPM）生成複調符號音樂。這些模型展示了高品質的樣本生成，並允許在音符層級進行靈活的填充。本文也討論了音樂樣本品質的評估以及這些模型的可能應用。

線上課程

• 生成式人工智慧課程和認證：立即註冊生成式人工智慧課程，邁出職業旅程的下一步！瀏覽頂尖大學和產業領導者提供的生成式人工智慧課程。 ？
• 完整的人工智慧藝術生成課程 - 初學者 2 大師：學習如何使用尖端人工智慧演算法生成語言、藝術、音樂等內容。 ??
• 吳恩達（Andrew Ng）：宣布我的新深度學習專業：與著名人工智慧專家吳恩達（Andrew Ng）一起深入研究深度學習，並學習這個令人興奮的領域的基礎知識。 ？
• 最佳深度學習課程和認證 (Coursera)：透過註冊頂尖大學和行業領導者提供的各種課程來增強您的深度學習技能和知識。

圖書

• 用於音樂生成的深度學習技術：本書對如何利用深度學習生成音樂內容進行了調查和分析，為學生、從業者和研究人員提供了見解。
• 演算法作曲：自動音樂生成的範式：本書詳細概述了演算法作曲，以實用的方式重點介紹了突出的程序和原則。
• 使用 Magenta 實踐音樂生成：探索深度學習在音樂生成和 Magenta 輔助作曲中的作用。本實踐指南將機器學習模型整合到現有的音樂製作工具中。
• 機器學習與音樂生成：透過這本綜合性書籍深入探討機器學習和音樂生成的交叉點，涵蓋機器學習技術在音樂創作中的使用。

研究論文

• 簡單且可控的音樂生成：本文介紹了 MusicGen，這是單一語言模型 (LM)，它可以根據文字描述或旋律特徵生成高品質的音樂樣本，從而可以更好地控制生成的輸出。與標準文字到音樂基準測試的基線相比，它展示了卓越的表現。
• 高效神經音樂生成：MeLoDy（M 代表音樂；L 代表 LM；D 代表擴散）被提議作為 LM 引導的擴散模型，可產生最先進質量的音樂音頻，同時減少採樣過程中的前向傳遞，使其計算效率高。
• Noise2Music：透過擴散生成文字調節的音樂：本文介紹了 Noise2Music，這是一系列經過訓練的擴散模型，可根據文字提示產生高品質的 30 秒音樂剪輯。它探索了中間表示的不同選項，並展示了忠實反映文字提示關鍵元素的能力。
• VampNet：透過屏蔽聲學令牌建模生成音樂：VampNet 在訓練期間利用雙向變壓器架構和可變屏蔽時間表來產生連貫的高保真音樂波形。它展示了音樂合成、壓縮、修復和變化方面的功能。
• MuseGAN：多軌順序生成對抗網路：本文提出了使用生成對抗網路（GAN）生成符號多軌音樂的三種模型，同時考慮了時間動態和曲目之間的相互依賴性。
• JEN-1：文字引導的擴散通用音樂生成：JEN-1 是一種用於文本到音樂生成的通用高保真模型，結合了自回歸和非自回歸訓練。它在文字音樂對齊和音樂品質方面表現出了卓越的性能。
• Museformer：具有細粒度和粗粒度注意力的 Transformer：Museformer 是一種基於 Transformer 的音樂生成方法，可解決與長音樂序列和音樂重複結構相關的挑戰。它引入了細粒度和粗粒度的注意力機制來有效地捕捉相關的音樂結構。
• 深度音樂生成綜合調查：多層次視角：該調查概述了音樂生成中的深度學習技術，涵蓋了不同音樂生成級別（樂譜生成、演奏生成和音頻生成）下的各種作曲任務。
• 用於從舞蹈視頻生成複雜音樂的量化 GAN：Dance2Music-GAN (D2M-GAN) 是一種對抗性多模態框架，可生成以舞蹈視頻為條件的複雜音樂樣本。它使用向量量化 (VQ) 音訊表示來產生不同的舞曲風格。
• 音樂！快速無限波形音樂產生：快速且使用者可控制的音樂生成系統，比在消費性 CPU 上即時產生任意長度的音樂快得多。
• 基於人工智慧的音樂生成的系統性回顧：提供廣泛的出版物並探討音樂家和電腦科學家對基於人工智慧的自動音樂生成的興趣。
• MidiNet：用於音樂生成的捲積生成對抗網路：介紹了使用卷積神經網路 (CNN) 在符號域中生成旋律。
• 深度學習的音樂生成 - 挑戰與方向：探討深度學習在音樂生成的限制以及對控制、結構、創造力和互動性的需求。
• 深度音樂世代缺少什麼？重複和結構的研究：研究音樂生成背景下對音樂結構和重複的理解，並提出新的正式音樂標準和評估方法。
• 使用擴散模型產生符號音樂：提出了一種在序列資料上訓練擴散模型的技術，以產生具有強大無條件生成和事後條件填充結果的符號音樂。
• 用於符號音樂生成的離散擴散機率模型：探索離散擴散機率模型 (D3PM) 在產生具有高樣本質量和靈活填充的複調符號音樂中的應用。
• MMM：使用 Transformer 探索條件多軌音樂產生：引入基於 Transformer 架構的生成系統，用於產生多軌音樂，並更好地控制和處理長期依賴性。
• 用於音樂生成的深度學習技術 - 調查：分析使用深度學習產生音樂內容的不同方法，涵蓋目標、表示、架構、挑戰和評估。
• Mo^usai：具有長上下文潛在擴散的文本到音樂生成：透過高效的文本到音樂生成模型架起文本和音樂之間的聯繫，該模型可以從文本描述生成多分鐘的高品質立體聲音樂。

影片

• 用 Magenta 產生音樂：在藝術中使用機器學習 - 2019 年 11 月 7 日。影片探討如何在音樂生成中使用機器學習。
• 如何寫音樂生成遺傳演算法？ - 2021 年 4 月 3 日。
• 音樂生成的深度學習 - 2018 年 2 月 8 日。
• 使用 GPT 創作重金屬 - HuggingFace for Music - 2022 年 1 月 26 日。
• MusicGen：簡單且可控的音樂生成說明 - 2023 年 6 月 25 日。
• Jawlove - Everything Will Be Alright - YouTube - 音樂視頻，收錄了 Jawlove 的歌曲“Everything Will Be Alright”。
• Musical Beginnings with Karen #7 Slippery Fish - YouTube - 來自音樂一代沃特福德計劃的視頻，展示了音樂教育表演。
• 控制論慶典|電火花加工| Loudly AI 音樂產生器 - YouTube - 示範如何使用 Loudly AI 音樂產生器創建 EDM 音樂的影片。
• Music Generation Cork City - YouTube - 展示 Music Generation Cork City 表演的影片播放清單。
• 頂級 AI 音樂生成工具（公開可用的工具） - 視頻 - 探索可用的頂級 AI 音樂生成工具的視頻，包括 Mubert AI、AIVA、Soundraw、Beatoven AI、Boomy 和 Amper Music。

工具和軟體

• Stability AI 推出「Stable Audio」：AI 音樂生成的多功能平台。 Stability AI 推出了新的 AI 平台 Stable Audio，它提供了一種新穎的潛在擴散模型，用於生成以元數據和計時為條件的音頻，從而提供更快的推理時間和創造性控制。
• SuperCollider：用於聲音合成的音訊伺服器、程式語言和 IDE。 SuperCollider 是一個音訊合成和演算法合成平台。
• 最佳開源 AI 音樂產生器：AudioLM 的實現，這是一種使用 Pytorch 產生音訊的語言建模方法。它包括對生成的音樂進行更多控制的調節機制。
• Soundful：人工智慧音樂產生器，讓創作者立即產生免版稅曲目。 Soundful 使用人工智慧技術產生高品質音樂，讓任何人都可以輕鬆創作專業音質的音樂。
• Strasheela：基於約束的音樂創作系統。使用者用一組作曲規則定義音樂理論，系統產生符合這些理論的音樂。
• 最佳人工智慧音樂產生器 - 2023 評論與比較：一款線上工具，具有多種創建歌曲封面的方式，包括搜尋歌曲、上傳音訊檔案和直接錄製。
• 什麼是人工智慧生成音樂？ 2023 年最佳音樂工具：該軟體允許企業探索人工智慧生成的音樂作為更便宜的替代方案，提供無限音樂項目和每月歌曲下載的免費試用。
• 2023 年最佳音訊編輯軟體：比較超過 100 個評論 | G2：音訊工程師和音樂製作人常用的音訊編輯軟體的綜合列表，以及經過驗證的使用者的即時產品評論。
• Psycle Modular 音樂創作工作室評論 - 2023：Psycle Modular 音樂創作工作室免費開源軟體專案的使用者評論和評分。

會議與活動

• Neuton.AI 活動 - Neuton.AI 正在舉辦各種活動，包括關於下一代智慧牙刷的 ARM 技術講座，並展示其獨特的神經網路框架，用於建立具有最佳尺寸和精度的緊湊模型。
• FUTURE DEAD ARTISTS 活動 - 隨時了解 FUTURE DEAD ARTISTS 即將舉辦的活動，包括 FDA 2023 新生班：未來一代藝術家講座。
• 生成式 AI、應用程式與 DevOps | AI/ML 講座 - Pulumi 於 2023 年 10 月 19 日在華盛頓州西雅圖發表了關於 AI/ML 講座領域的生成式 AI、應用程式和 DevOps 的講座。
• 科技與創業女性 - 勞德代爾堡分會歡樂時光 - 勞德代爾堡分會為科技與創業女性舉辦的歡樂時光活動。

投影片和簡報

• 演算法音樂生成 | PPT：討論演算法音樂產生的幻燈片，免費提供 PDF 或線上檢視。
• 利用深度學習生成音樂 | PPT：探索使用深度學習產生音樂的簡報，可下載 PDF 或線上檢視。
• 使用可控音樂轉換器產生視訊背景音樂：討論使用可控音樂轉換器產生視訊背景音樂的幻燈片，可作為 PDF 或線上查看。
• 使用深度學習自動生成音樂 | PDF：幻燈片解釋使用深度學習自動產生音樂的過程，可作為 PDF 下載或線上檢視。
• MuseGAN：用於符號音樂生成和伴奏的多軌順序生成對抗網絡（AAAI 2018）：演示MuseGAN 的幻燈片，這是一個用於符號音樂生成和伴奏的多軌順序生成對抗網絡的框架，可作為PDF或線上查看。
• 使用變形金剛自動音樂創作，2021 年 1 月 | PPT：介紹正在進行的使用 Transformer 自動音樂創作專案的簡報，可下載 PDF 或線上查看。
• ISMIR 2019 教學課程：使用生成對抗網路 (GAN) 產生音樂：ISMIR 2019 教學中有關使用產生對抗網路 (GAN) 產生音樂的投影片，可作為 PDF 或線上檢視。
• PopMAG：流行音樂伴奏生成 | PPT：討論 PopMAG 的幻燈片，這是一個流行音樂伴奏生成框架，可作為 PDF 或在線查看。
• 人工智慧與音樂| PPT：幻燈片探索循環神經網路與 LSTM 結合用於音樂生成的應用，可作為 PDF 下載或線上查看。
• 機器學習在音樂中的創意人工智慧應用（2018 年 11 月）| PPT：介紹機器學習在音樂中的創意人工智慧應用，可提供 PDF 或線上檢視。

---

這個初始版本的 Awesome List 是在 Awesome List Generator 的幫助下產生的。它是一個開源 Python 包，利用 GPT 模型的強大功能來自動管理和產生與特定主題相關的資源清單的起點。