awesome ai music generation

利用 AI 生成令人惊叹的音乐

欢迎来到“Awesome Music Generation with AI”列表，这是人工智能和音乐创作交叉领​​域的资源、项目和框架的精选集合。多年来，在机器学习和深度学习技术进步的推动下，生成音乐领域经历了重大演变。从算法作曲到实时音乐生成，人工智能开辟了新的视野，实现了创造力和自动化的融合，这在以前是难以想象的。

该列表旨在成为爱好者、研究人员和专业人士的综合中心，汇集了通过人工智能塑造音乐生成未来的开创性项目、有影响力的研究论文和最先进的框架。无论您是探索数字前沿的音乐家、突破可能性界限的研究人员，还是旨在将人工智能驱动的音乐功能集成到应用程序中的开发人员，该集合都将提供丰富的灵感和知识来源。

目录

• GitHub 项目
• 文章和博客
• 在线课程
• 图书
• 研究论文
• 视频
• 工具和软件
• 会议与活动
• 幻灯片和演示文稿

GitHub 项目

• Magenta：机器智能的音乐和艺术一代??️（18712 颗星）
• Audiocraft：一个通过深度学习进行音频处理和生成的库，包括 MusicGen，一个具有文本和旋律调节功能的可控音乐生成 LM（17044 颗星）
• Muzic：人工智能音乐理解和生成？ （3765 星）
• musiclm-pytorch：MusicLM 的 PyTorch 实现，MusicLM 是 Google 使用注意力网络进行音乐生成的最先进模型？ （2763 星）
• riffusion：实时音乐生成的稳定扩散？ （2727 星）
• Mubert-Text-to-Music：使用 Mubert API 演示基于提示的音乐生成的笔记本？ （2674 星）
• riffusion-app：在网络应用程序中实现实时音乐生成的稳定扩散？ （2474 星）
• Magenta.js：在浏览器中通过机器学习生成音乐和艺术??️（1899 颗星）
• AudioLDM2：文本到音频/音乐生成？ （1733 星）
• musegan：音乐生成的人工智能？ （1602 星）
• Radium ：图形音乐编辑器和下一代跟踪器。 ？⚡️（805星）
• GRUV ：一个用于算法音乐生成的 Python 项目。 ?? （798 星）
• DeepJ ：用于生成特定风格音乐的深度学习模型。 ？ （717 星）
• 使用深度学习生成音乐：使用深度学习生成音乐的资源。 ？ （700 星）
• Musika ：快速无限波形音乐生成。 ?? （646 星）
• 音乐生成研究：音乐生成研究资源的集合。 ?? （516 星）
• MusPy ：用于符号音乐生成的工具包。 ?? （387 星）
• MusicGenerator ：使用 TensorFlow 尝试各种深度学习模型来生成音乐。 ?? （309 颗星）
• MuseTree ：为现实世界生成人工智能音乐。 ?? （215 颗星）
• VampNET ：用蒙面变形金刚生成音乐！ ?? （204 颗星）

文章和博客

• 简单且可控的音乐生成：称为 MusicGen 的单一语言模型 (LM)，它对压缩的离散音乐表示进行操作，从而可以更好地控制生成的输出。音乐样本、代码和模型可在提供的链接中获取。
• 基于人工智能的情感音乐生成系统：方法回顾：对 AI-AMG 系统进行全面回顾，讨论其构建模块，根据核心算法对现有系统进行分类，并探索基于人工智能的情感音乐创作方法。
• Music FaderNets：基于高的可控音乐生成：一个框架（Music FaderNets），用于通过特征解缠和潜在正则化技术操纵低级属性来学习高级特征表示。
• 深度学习的音乐生成 - 挑战和方向：音乐生成的深度学习方法概述，讨论其在创造力和控制方面的局限性。
• MusPy：符号音乐生成工具包：介绍 MusPy，这是一个用于符号音乐生成的开源 Python 库，提供数据集管理、数据预处理和模型评估工具。还包括支持的数据集的统计分析。
• 支持使用变分循环自动编码器生成音乐：引入新的网络架构，历史支持的变分自动编码器，用于生成更长的旋律模式。过滤启发法用于增强生成的音乐。
• 使用扩散模型生成符号音乐：将扩散模型应用于符号音乐建模，展示了强大的生成和条件填充结果。
• Magenta：一个研究项目，探索机器学习在艺术和音乐创作中的作用。
• 如何使用 Python 生成音乐：基础知识：一篇讨论使用 Python 生成音乐的基础知识的文章，重点介绍了它在程序化 MIDI 生成中的使用。
• MidiNet：卷积生成对抗网络，用于：研究使用卷积神经网络 (CNN) 在符号域中生成旋律、引入条件机制并扩展到多个 MIDI 通道。
• 音乐生成人工智能的调查：代理......
• 这篇调查论文探讨了人工智能（AI）音乐生成领域，讨论了模仿音乐生成过程的人工智能系统的作曲技术和进展。它还强调了数据集、模型、界面和用户在音乐生成过程中的作用，以及潜在的应用和未来的研究方向。
• 用人工智能生成音乐？
• 本文深入介绍了如何使用循环神经网络 (RNN) 通过机器学习来生成音乐。它可以复习基于 RNN 的文本生成技术。
• 从人工神经网络到音乐深度学习......
• 本文探讨了深度学习技术在音乐生成中的应用。它提供了有关如何使用深度学习自动学习音乐风格并生成音乐样本的教程。
• Noise2Music：具有扩散功能的文本调节音乐生成......
• 这项研究引入了 Noise2Music，这是一个利用扩散模型根据文本提示生成高质量音乐剪辑的系统。它演示了生成的音频如何捕捉文本中指定的流派、节奏、乐器、情绪和时代。
• 分类变分自动编码器及其应用...？
• 本文提出了一种基于变分自动编码器（VAE）框架的算法音乐生成模型。该模型包含一个分类器来推断建模数据的离散类别，从而允许生成不同调的音乐序列。
• 从 WaveNet 生成环境音乐
• 这篇文章讨论了使用 Google DeepMind 的 WaveNet（一种音频生成模型）生成环境音乐的动机和方法。
• 使用 LSTM 神经网络生成音乐
• 这篇博文介绍了如何使用长短期记忆 (LSTM) 神经网络来生成音乐。它涵盖了对现有 LSTM 模型的改进。
• 符号音乐生成的离散扩散概率模型？
• 这项工作介绍了使用离散扩散概率模型（DDPM）生成复调符号音乐。这些模型展示了高质量的样本生成，并允许在音符级别进行灵活的填充。本文还讨论了音乐样本质量的评估以及这些模型的可能应用。

在线课程

• 生成式人工智能课程和认证：立即注册生成式人工智能课程，迈出职业旅程的下一步！浏览顶尖大学和行业领导者提供的生成式人工智能课程。 ？
• 完整的人工智能艺术生成课程 - 初学者 2 大师：学习如何使用尖端人工智能算法生成语言、艺术、音乐等内容。 ??
• 吴恩达（Andrew Ng）：宣布我的新深度学习专业：与著名人工智能专家吴恩达（Andrew Ng）一起深入研究深度学习，并学习这个令人兴奋的领域的基础知识。 ？
• 最佳深度学习课程和认证 (Coursera)：通过注册顶尖大学和行业领导者提供的各种课程来增强您的深度学习技能和知识。

图书

• 用于音乐生成的深度学习技术：本书对如何利用深度学习生成音乐内容进行了调查和分析，为学生、从业者和研究人员提供了见解。
• 算法作曲：自动音乐生成的范式：本书详细概述了算法作曲，以实用的方式重点介绍了突出的程序和原则。
• 使用 Magenta 实践音乐生成：探索深度学习在音乐生成和 Magenta 辅助作曲中的作用。本实践指南将机器学习模型集成到现有的音乐制作工具中。
• 机器学习和音乐生成：通过这本综合性的书籍深入探讨机器学习和音乐生成的交叉点，涵盖机器学习技术在音乐创作中的使用。

研究论文

• 简单且可控的音乐生成：本文介绍了 MusicGen，这是一种单一语言模型 (LM)，它可以根据文本描述或旋律特征生成高质量的音乐样本，从而可以更好地控制生成的输出。与标准文本到音乐基准测试的基线相比，它展示了卓越的性能。
• 高效神经音乐生成：MeLoDy（M 代表音乐；L 代表 LM；D 代表扩散）被提议作为 LM 引导的扩散模型，可生成最先进质量的音乐音频，同时减少采样过程中的前向传递，使其计算效率高。
• Noise2Music：通过扩散生成文本调节的音乐：本文介绍了 Noise2Music，这是一系列经过训练的扩散模型，可根据文本提示生成高质量的 30 秒音乐剪辑。它探索了中间表示的不同选项，并展示了忠实反映文本提示关键元素的能力。
• VampNet：通过屏蔽声学令牌建模生成音乐：VampNet 在训练期间利用双向变压器架构和可变屏蔽时间表来生成连贯的高保真音乐波形。它展示了音乐合成、压缩、修复和变化方面的功能。
• MuseGAN：多轨顺序生成对抗网络：本文提出了使用生成对抗网络（GAN）生成符号多轨音乐的三种模型，同时考虑了时间动态和曲目之间的相互依赖性。
• JEN-1：文本引导的扩散通用音乐生成：JEN-1 是一种用于文本到音乐生成的通用高保真模型，结合了自回归和非自回归训练。它在文本音乐对齐和音乐质量方面表现出了卓越的性能。
• Museformer：具有细粒度和粗粒度注意力的 Transformer：Museformer 是一种基于 Transformer 的音乐生成方法，可解决与长音乐序列和音乐重复结构相关的挑战。它引入了细粒度和粗粒度的注意力机制来有效地捕获相关的音乐结构。
• 深度音乐生成综合调查：多层次视角：该调查概述了音乐生成中的深度学习技术，涵盖了不同音乐生成级别（乐谱生成、演奏生成和音频生成）下的各种作曲任务。
• 用于从舞蹈视频生成复杂音乐的量化 GAN：Dance2Music-GAN (D2M-GAN) 是一种对抗性多模态框架，可生成以舞蹈视频为条件的复杂音乐样本。它使用矢量量化 (VQ) 音频表示来生成不同的舞曲风格。
• 音乐！快速无限波形音乐生成：快速且用户可控的音乐生成系统，比在消费类 CPU 上实时生成任意长度的音乐要快得多。
• 基于人工智能的音乐生成的系统回顾：提供广泛的出版物，并探讨音乐家和计算机科学家对基于人工智能的自动音乐生成的兴趣。
• MidiNet：用于音乐生成的卷积生成对抗网络：介绍了使用卷积神经网络 (CNN) 在符号域中生成旋律。
• 深度学习的音乐生成 - 挑战和方向：探讨深度学习在音乐生成方面的局限性以及对控制、结构、创造力和交互性的需求。
• 深度音乐一代缺少什么？重复和结构的研究：研究音乐生成背景下对音乐结构和重复的理解，并提出新的正式音乐标准和评估方法。
• 使用扩散模型生成符号音乐：提出了一种在序列数据上训练扩散模型的技术，以生成具有强大无条件生成和事后条件填充结果的符号音乐。
• 用于符号音乐生成的离散扩散概率模型：探索离散扩散概率模型 (D3PM) 在生成具有高样本质量和灵活填充的复调符号音乐中的应用。
• MMM：使用 Transformer 探索条件多轨音乐生成：引入基于 Transformer 架构的生成系统，用于生成多轨音乐，并更好地控制和处理长期依赖性。
• 用于音乐生成的深度学习技术 - 调查：分析使用深度学习生成音乐内容的不同方法，涵盖目标、表示、架构、挑战和评估。
• Mo^usai：具有长上下文潜在扩散的文本到音乐生成：通过高效的文本到音乐生成模型架起文本和音乐之间的联系，该模型可以从文本描述生成多分钟的高质量立体声音乐。

视频

• 用 Magenta 生成音乐：在艺术中使用机器学习 - 2019 年 11 月 7 日。创作音乐很困难，缺乏灵感可能会令人畏惧。该视频探讨了如何在音乐生成中使用机器学习。
• 如何编写音乐生成遗传算法？ - 2021 年 4 月 3 日。该视频讨论了基于上一个视频中介绍的概念，对用于生成音乐的遗传算法进行编码。
• 音乐生成的深度学习 - 2018 年 2 月 8 日。在这一集的 AI 节目中，Erika 解释了如何使用音乐作为输入创建深度学习模型，深入研究使用深度学习的音乐生成的技术方面。
• 使用 GPT 创作重金属 - HuggingFace for Music - 2022 年 1 月 26 日。该视频展示了 HuggingFace 在音乐生成中的使用，特别侧重于创作重金属音乐。
• MusicGen：简单且可控的音乐生成解释 - 2023 年 6 月 25 日。该视频解释了 MusicGen，这是一个简单且可控的音乐生成框架。
• Jawlove - Everything Will Be Alright - YouTube - 音乐视频，收录了 Jawlove 的歌曲“Everything Will Be Alright”。
• Musical Beginnings with Karen #7 Slippery Fish - YouTube - 来自音乐一代沃特福德计划的视频，展示了音乐教育表演。
• 控制论庆典|电火花加工| Loudly AI 音乐生成器 - YouTube - 演示如何使用 Loudly AI 音乐生成器创建 EDM 音乐的视频。
• Music Generation Cork City - YouTube - 展示 Music Generation Cork City 表演的视频播放列表。
• 顶级 AI 音乐生成工具（公开可用的工具） - 视频 - 探索可用的顶级 AI 音乐生成工具的视频，包括 Mubert AI、AIVA、Soundraw、Beatoven AI、Boomy 和 Amper Music。

工具和软件

• Stability AI 推出“Stable Audio”：AI 音乐生成的多功能平台。 Stability AI 推出了新的 AI 平台 Stable Audio，它提供了一种新颖的潜在扩散模型，用于生成以元数据和计时为条件的音频，从而提供更快的推理时间和创造性控制。
• SuperCollider：用于声音合成的音频服务器、编程语言和 IDE。 SuperCollider 是一个音频合成和算法合成平台。
• 最佳开源 AI 音乐生成器：AudioLM 的实现，这是一种使用 Pytorch 生成音频的语言建模方法。它包括对生成的音乐进行更多控制的调节机制。
• Soundful：人工智能音乐生成器，允许创作者立即生成免版税曲目。 Soundful 使用人工智能技术生成高品质音乐，让任何人都可以轻松创作专业音质的音乐。
• Strasheela：基于约束的音乐创作系统。用户用一组作曲规则定义音乐理论，系统生成符合这些理论的音乐。
• 最佳人工智能音乐生成器 - 2023 评论与比较：一款在线工具，具有多种创建歌曲封面的方式，包括搜索歌曲、上传音频文件和直接录制。
• 什么是人工智能生成音乐？ 2023 年最佳音乐工具：该软件允许企业探索人工智能生成的音乐作为更便宜的替代方案，提供无限音乐项目和每月歌曲下载的免费试用。
• 2023 年最佳音频编辑软件：比较 100 多个评论 | G2：音频工程师和音乐制作人常用的音频编辑软件的综合列表，以及经过验证的用户的实时产品评论。
• Psycle Modular 音乐创作工作室评论 - 2023：Psycle Modular 音乐创作工作室免费开源软件项目的用户评论和评级。

会议与活动

• Neuton.AI 活动 - Neuton.AI 正在举办各种活动，包括关于下一代智能牙刷的 ARM 技术讲座，并展示其独特的神经网络框架，用于构建具有最佳尺寸和精度的紧凑模型。
• FUTURE DEAD ARTISTS 活动 - 随时了解 FUTURE DEAD ARTISTS 即将举办的活动，包括 FDA 2023 新生班：未来一代艺术家讲座。
• 生成式 AI、应用程序和 DevOps | AI/ML 讲座 - Pulumi 于 2023 年 10 月 19 日在华盛顿州西雅图发表了关于 AI/ML 讲座领域的生成式 AI、应用程序和 DevOps 的讲座。
• 科技与创业女性 - 劳德代尔堡分会欢乐时光 - 劳德代尔堡分会为科技与创业女性举办的欢乐时光活动。

幻灯片和演示文稿

• 算法音乐生成 | PPT：讨论算法音乐生成的幻灯片，免费提供 PDF 或在线视图。
• 利用深度学习生成音乐 | PPT：探索使用深度学习生成音乐的演示文稿，可下载 PDF 或在线查看。
• 使用可控音乐转换器生成视频背景音乐：讨论使用可控音乐转换器生成视频背景音乐的幻灯片，可作为 PDF 或在线查看。
• 使用深度学习自动生成音乐 | PDF：幻灯片解释使用深度学习自动生成音乐的过程，可作为 PDF 下载或在线查看。
• MuseGAN：用于符号音乐生成和伴奏的多轨顺序生成对抗网络（AAAI 2018）：演示 MuseGAN 的幻灯片，MuseGAN 是一个用于符号音乐生成和伴奏的多轨顺序生成对抗网络框架，可作为 PDF 或在线查看。
• 使用变形金刚自动音乐创作，2021 年 1 月 | PPT：介绍正在进行的使用 Transformer 自动音乐创作项目的演示文稿，可下载 PDF 或在线查看。
• ISMIR 2019 教程：使用生成对抗网络 (GAN) 生成音乐：ISMIR 2019 教程中有关使用生成对抗网络 (GAN) 生成音乐的幻灯片，可作为 PDF 或在线查看。
• PopMAG：流行音乐伴奏生成 | PPT：讨论 PopMAG 的幻灯片，这是一个流行音乐伴奏生成框架，可作为 PDF 或在线查看。
• 人工智能与音乐| PPT：幻灯片探索循环神经网络与 LSTM 结合用于音乐生成的应用，可作为 PDF 下载或在线查看。
• 机器学习在音乐中的创意人工智能应用（2018 年 11 月）| PPT：介绍机器学习在音乐中的创意人工智能应用，可提供 PDF 或在线查看。

---

这个初始版本的 Awesome List 是在 Awesome List Generator 的帮助下生成的。它是一个开源 Python 包，利用 GPT 模型的强大功能来自动管理和生成与特定主题相关的资源列表的起点。