位元組跳動推出全新音樂創作工具Seed-Music，它就像一個音樂魔法師，可以根據文字描述、音訊參考、樂譜甚至語音提示生成高品質音樂。 Seed-Music結合了自回歸語言模型和擴散模型，賦予用戶前所未有的音樂創作控制力，無論是歌詞配樂、旋律改編還是語音轉歌聲，Seed-Music都能輕鬆應對。 Downcodes小編將帶你深入了解這個令人驚豔的音樂生成模型。
最近，位元組跳動放出了一個音樂創作的新玩意，叫做Seed-Music。這個神奇的音樂生成模型，可以讓你透過多種輸入方式（例如文字描述、音訊參考、樂譜、甚至語音提示）輕鬆生成和音樂，簡直就像擁有一個音樂魔法師!
Seed-Music 結合了自回歸語言模型和擴散模型，不僅能夠產生高品質的音樂作品，還能讓你對音樂的細節進行精確控制。無論你是想歌詞配樂，還是想改編旋律，這裡統統沒問題。甚至，你可以上傳一段短小的語音片段，系統會自動將它轉換為完整的歌聲，方便又有效率。
強大的Seed-Music 不僅支援聲樂和器樂的生成，還包括了歌聲合成、歌聲轉換和音樂編輯等一系列功能，能夠滿足不同用戶的需求。你可以透過簡單的文字描述生成流行樂，也能透過音訊提示調整音樂風格，真是讓人耳目一新。
更有趣的是，Seed-Music 的架構分為三個模組:表示學習模組、生成模組和渲染模組，這些模組像樂團一樣齊心協力，透過多模態輸入產生高品質的音樂。
表示學習模組將原始音訊訊號壓縮成三種中間表示，適用於不同的音樂產生和編輯任務。生成模組則透過自回歸模型和擴散模型，將使用者的輸入轉換為音樂表示。而最後的渲染模組則負責將這些中間表示變成你耳朵可享受的高品質音訊。
為了確保音樂的質量，Seed-Music 採用了多種技術:自回歸語言模型逐步生成音頻符號，擴散模型則通過去噪手段讓音樂更加清晰，而聲碼器則將這些音樂“代碼” 翻譯成可播放的高保真聲音。
Seed-Music 的訓練過程也很有趣，分為預訓練、微調和後訓練三個階段。透過大規模的音樂數據，模型獲得基礎能力，再透過微調提升具體任務的表現，最後還會透過強化學習不斷優化生成結果。
專案網址：https://team.doubao.com/en/special/seed-music
Seed-Music 的出現，無疑為音樂創作帶來了新的可能性，其便捷的操作和強大的功能，將大大降低音樂創作的門檻，讓更多人能夠體驗音樂創作的樂趣。期待Seed-Music 未來能帶來更多驚喜！