Генерация потрясающей музыки с помощью искусственного интеллекта
Добро пожаловать в список Awesome Music Generation with AI — тщательно подобранную коллекцию ресурсов, проектов и фреймворков на стыке искусственного интеллекта и создания музыки. За прошедшие годы в области генеративной музыки произошла значительная эволюция, чему способствовали достижения в области машинного обучения и технологий глубокого обучения. От алгоритмической композиции до создания музыки в реальном времени — искусственный интеллект открыл новые горизонты, обеспечивая сочетание творчества и автоматизации, которое когда-то было невообразимо.
Этот список призван стать комплексным центром для энтузиастов, исследователей и профессионалов, объединяющим новаторские проекты, влиятельные исследовательские работы и современные структуры, которые формируют будущее создания музыки с помощью искусственного интеллекта. Независимо от того, являетесь ли вы музыкантом, исследующим цифровые рубежи, исследователем, расширяющим границы возможного, или разработчиком, стремящимся интегрировать музыкальные возможности, основанные на искусственном интеллекте, в приложения, эта коллекция станет богатым источником вдохновения и знаний.
Оглавление
- Проекты GitHub
- Статьи и блоги
- Онлайн-курсы
- Книги
- Исследовательские статьи
- Видео
- Инструменты и программное обеспечение
- Конференции и мероприятия
- Слайды и презентации
Проекты GitHub
- Пурпурный: создание музыки и искусства с помощью машинного интеллекта ??️ (18712 звезд)
- Audiocraft: библиотека для обработки и генерации звука с глубоким обучением, включая MusicGen, управляемый LM для генерации музыки с текстовым и мелодическим оформлением (17044 звезды).
- Muzic: понимание и создание музыки с помощью искусственного интеллекта? (3765 звезд)
- musiclm-pytorch: PyTorch реализация MusicLM, современной модели Google для создания музыки с использованием сетей внимания? (2763 звезды)
- riffusion: Стабильная диффузия для создания музыки в реальном времени? (2727 звезд)
- Mubert-Text-to-Music: блокнот, демонстрирующий создание музыки на основе подсказок с использованием Mubert API? (2674 звезды)
- riffusion-app: стабильное распространение для генерации музыки в реальном времени в веб-приложении? (2474 звезды)
- Magenta.js: создание музыки и произведений искусства с помощью машинного обучения в браузере ??️ (1899 звезд)
- AudioLDM2: преобразование текста в аудио/музыку? (1733 звезды)
- musegan: ИИ для создания музыки? (1602 звезды)
- Radium : графический музыкальный редактор и трекер нового поколения. ?⚡️ (805 звезд)
- GRUV : проект Python для алгоритмической генерации музыки. ?? (798 звезд)
- DeepJ : модель глубокого обучения для создания музыки в зависимости от стиля. ? (717 звезд)
- Генерация музыки с помощью глубокого обучения : Ресурсы по созданию музыки с использованием глубокого обучения. ? (700 звезд)
- Musika : быстрая генерация музыки с бесконечной формой волны. ?? (646 звезд)
- Исследования поколения музыки : коллекция ресурсов для исследования поколения музыки. ?? (516 звезд)
- MusPy : набор инструментов для создания символической музыки. ?? (387 звезд)
- MusicGenerator : экспериментируйте с различными моделями глубокого обучения для создания музыки с помощью TensorFlow. ?? (309 звезд)
- MuseTree : создание музыки с помощью искусственного интеллекта для реального мира. ?? (215 звезд)
- VampNET : Генерация музыки с помощью трансформеров в масках! ?? (204 звезды)
Статьи и блоги
- Простая и управляемая генерация музыки: единая языковая модель (LM) под названием MusicGen, которая работает со сжатым дискретным музыкальным представлением, что позволяет лучше контролировать генерируемый вывод. Сэмплы музыки, код и модели доступны по предоставленной ссылке.
- Системы создания эмоциональной музыки на основе искусственного интеллекта: обзор методов: всесторонний обзор систем AI-AMG, обсуждение их строительных блоков, категоризация существующих систем на основе основных алгоритмов и изучение подходов на основе искусственного интеллекта для создания эмоциональной музыки.
- Music FaderNets: управляемая генерация музыки на основе High: структура (Music FaderNets) для изучения представлений функций высокого уровня путем манипулирования атрибутами низкого уровня с помощью методов распутывания функций и скрытой регуляризации.
- Генерация музыки с помощью глубокого обучения: задачи и направления: обзор подходов к глубокому обучению для создания музыки, обсуждение их ограничений с точки зрения творчества и контроля.
- MusPy: набор инструментов для создания символической музыки: введение MusPy, библиотеки Python с открытым исходным кодом для создания символической музыки, предоставляющей инструменты для управления наборами данных, предварительной обработки данных и оценки модели. Также включен статистический анализ поддерживаемых наборов данных.
- Генерация музыки с поддержкой вариационного рекуррентного автокодировщика: введение новой сетевой архитектуры, вариационного автокодировщика, поддерживаемого историей, для генерации более длинных мелодических шаблонов. Эвристика фильтрации используется для улучшения создаваемой музыки.
- Генерация символической музыки с помощью моделей диффузии: применение моделей диффузии для моделирования символической музыки, демонстрация сильных результатов генерации и условного заполнения.
- Magenta: исследовательский проект, исследующий роль машинного обучения в создании искусства и музыки.
- Как создавать музыку с помощью Python: Основы: статья, в которой обсуждаются основы создания музыки с помощью Python и подчеркивается его использование в процедурной генерации MIDI.
- MidiNet: сверточная генеративно-состязательная сеть для: исследования использования сверточных нейронных сетей (CNN) для генерации мелодии в символической области, введения условных механизмов и расширения до нескольких MIDI-каналов.
- Исследование искусственного интеллекта для создания музыки: агенты...
- В этом обзорном документе исследуется область создания музыки с помощью искусственного интеллекта (ИИ), обсуждаются методы композиции и достижения в области систем искусственного интеллекта, имитирующих процесс создания музыки. В нем также подчеркивается роль наборов данных, моделей, интерфейсов и пользователей в процессе создания музыки, а также потенциальные приложения и будущие направления исследований.
- Создание музыки с помощью искусственного интеллекта?
- В этой статье рассказывается о том, как рекуррентные нейронные сети (RNN) можно использовать для генерации музыки с помощью машинного обучения. Он служит для повышения квалификации по методам генерации текста на основе RNN.
- От искусственных нейронных сетей до глубокого обучения музыке...
- В этой статье исследуется применение методов глубокого обучения при создании музыки. Он предлагает учебное пособие о том, как можно использовать глубокое обучение для автоматического изучения музыкальных стилей и создания музыкальных образцов.
- Noise2Music: создание музыки с текстовым условием и диффузией...
- В этом исследовании представлена Noise2Music — система, которая использует модели диффузии для создания высококачественных музыкальных клипов из текстовых подсказок. Он демонстрирует, как сгенерированный звук может передать жанр, темп, инструменты, настроение и эпоху, указанные в тексте.
- Классифицирующий вариационный автоэнкодер с применением к...?
- В этой статье представлена модель, основанная на структуре вариационного автокодировщика (VAE) для алгоритмической генерации музыки. Модель включает в себя классификатор для определения дискретного класса смоделированных данных, что позволяет генерировать музыкальные последовательности в разных тональностях.
- Генерация эмбиентной музыки из WaveNet
- В этом посте обсуждаются мотивация и подход к созданию эмбиент-музыки с использованием WaveNet от Google DeepMind, модели генерации звука.
- Генерация музыки с использованием нейронной сети LSTM
- В этом сообщении блога представлено использование нейронной сети с длинной краткосрочной памятью (LSTM) для генерации музыки. Он охватывает улучшения, внесенные в существующую модель LSTM.
- Дискретные вероятностные модели диффузии для генерации символической музыки?
- В этой работе рассматривается генерация полифонической символической музыки с использованием вероятностных моделей дискретной диффузии (DDPM). Модели демонстрируют высококачественную генерацию семплов и позволяют гибко наполнять их на уровне нот. В статье также обсуждается оценка качества музыкальных образцов и возможные применения этих моделей.
Онлайн-курсы
- Курсы и сертификаты по генеративному ИИ: сделайте следующий шаг в своем профессиональном пути и запишитесь на курс по генеративному ИИ сегодня! Просмотрите курсы по генеративному искусственному интеллекту, предлагаемые ведущими университетами и лидерами отрасли. ?
- Полный курс AI Art Generation — Beginner 2 MASTER: Узнайте, как создавать все, от языка, искусства, музыки и многого другого, с помощью передовых алгоритмов искусственного интеллекта. ??
- Эндрю Нг: объявляю о своей новой специализации в области глубокого обучения: погрузитесь в глубокое обучение вместе с Эндрю Нг, известным экспертом в области искусственного интеллекта, и изучите основы этой захватывающей области. ?
- Лучшие курсы и сертификаты глубокого обучения (Coursera): улучшите свои навыки и знания глубокого обучения, записавшись на широкий спектр курсов, предлагаемых ведущими университетами и лидерами отрасли.
Книги
- Методы глубокого обучения для создания музыки: в этой книге представлен обзор и анализ того, как глубокое обучение может быть использовано для создания музыкального контента, что дает понимание студентам, практикам и исследователям.
- Алгоритмическая композиция: парадигмы автоматизированной генерации музыки: эта книга предлагает подробный обзор алгоритмической композиции и фокусируется на важных процедурах и принципах на практике.
- Практическое создание музыки с помощью Magenta: изучите роль глубокого обучения в создании музыки и вспомогательной композиции с помощью Magenta. Это практическое руководство интегрирует модели машинного обучения в существующие инструменты создания музыки.
- Машинное обучение и генерация музыки. Познакомьтесь с пересечением машинного обучения и создания музыки с помощью этой всеобъемлющей книги, в которой рассказывается об использовании методов машинного обучения при создании музыки.
Исследовательские статьи
- Простая и управляемая генерация музыки. В этом документе представлен MusicGen, единая языковая модель (LM), которая генерирует высококачественные музыкальные образцы на основе текстового описания или мелодических особенностей, что позволяет лучше контролировать сгенерированный результат. Он демонстрирует превосходную производительность по сравнению с базовыми показателями стандартного теста преобразования текста в музыку.
- Эффективная нейронная генерация музыки: MeLoDy (M для музыки; L для LM; D для диффузии) предлагается в качестве модели диффузии, управляемой LM, которая генерирует музыкальные аудиозаписи самого современного качества, одновременно сокращая прямые проходы в процессе семплирования. что делает его вычислительно эффективным.
- Noise2Music: Генерация музыки с учетом текста с помощью Diffusion. В этом документе представлена Noise2Music, серия моделей диффузии, обученных генерировать высококачественные 30-секундные музыкальные клипы из текстовых подсказок. Он исследует различные варианты промежуточных представлений и демонстрирует способность точно отражать ключевые элементы текстовой подсказки.
- VampNet: Генерация музыки с помощью моделирования акустических токенов в маске. VampNet использует архитектуру двунаправленного трансформатора и переменный график маскирования во время обучения для генерации когерентных музыкальных сигналов высокой точности. Он демонстрирует возможности синтеза, сжатия, рисования и вариаций музыки.
- MuseGAN: Многодорожечные последовательные генеративно-состязательные сети. В этом документе предлагаются три модели символической многодорожечной генерации музыки с использованием генеративно-состязательных сетей (GAN), принимая во внимание временную динамику и взаимозависимости между треками.
- JEN-1: Универсальная генерация музыки с текстовым управлением и диффузией. JEN-1 представлен как универсальная высокоточная модель для генерации текста в музыку, включающая как авторегрессионное, так и неавторегрессивное обучение. Он демонстрирует превосходные характеристики в согласовании текста и музыки и качестве музыки.
- Museformer: Трансформатор с мелкой и грубой детализацией внимания: Museformer — это основанный на Transformer подход к созданию музыки, который решает проблемы, связанные с длинными музыкальными последовательностями и структурами музыкальных повторений. Он вводит мелко- и крупнозернистые механизмы внимания для эффективного захвата соответствующих музыкальных структур.
- Комплексный обзор по созданию глубокой музыки: многоуровневые перспективы: в этом опросе представлен обзор методов глубокого обучения при создании музыки, охватывающий различные задачи по композиции на разных уровнях создания музыки (генерация партитуры, генерация исполнения и генерация звука).
- Квантованный GAN для создания сложной музыки из танцевальных видео: Dance2Music-GAN (D2M-GAN) — это состязательная мультимодальная структура, которая генерирует сложные музыкальные сэмплы на основе танцевальных видео. Он использует векторное квантование звука (VQ) для создания разнообразных стилей танцевальной музыки.
- Музыка! Быстрая генерация музыки бесконечной формы волны: Быстрая и управляемая пользователем система генерации музыки, которая позволяет генерировать музыку произвольной длины гораздо быстрее, чем в реальном времени, на потребительском процессоре.
- Систематический обзор создания музыки на основе искусственного интеллекта: содержит широкий спектр публикаций и исследует интерес как музыкантов, так и ученых-компьютерщиков к автоматической генерации музыки на основе искусственного интеллекта.
- MidiNet: сверточная генеративно-состязательная сеть для генерации музыки: представляет использование сверточных нейронных сетей (CNN) для генерации мелодий в символической области.
- Создание музыки с помощью глубокого обучения: задачи и направления: исследуются ограничения глубокого обучения для создания музыки и необходимость контроля, структуры, творчества и интерактивности.
- Чего не хватает в создании глубокой музыки? Исследование повторения и структуры: исследует понимание музыкальной структуры и повторения в контексте создания музыки и предлагает новые формальные музыкальные критерии и методы оценки.
- Генерация символической музыки с помощью моделей диффузии: представляет метод обучения моделей диффузии на последовательных данных для генерации символической музыки с сильной безусловной генерацией и результатами апостериорного условного заполнения.
- Вероятностные модели дискретной диффузии для генерации символической музыки: исследуется применение вероятностных моделей дискретной диффузии (D3PM) для генерации полифонической символической музыки с высоким качеством сэмплов и гибким заполнением.
- МММ: изучение условной генерации многодорожечной музыки с помощью Transformer: представляет генеративную систему, основанную на архитектуре Transformer, для создания многодорожечной музыки с большим контролем и обработкой долгосрочных зависимостей.
- Методы глубокого обучения для создания музыки — опрос: анализируются различные способы использования глубокого обучения для создания музыкального контента, включая цели, представления, архитектуру, задачи и оценку.
- Mo^usai: Генерация текста в музыку со скрытым распространением длинного контекста: Соединяет связь между текстом и музыкой с помощью высокоэффективной модели генерации текста в музыку, которая может генерировать несколько минут высококачественной стереомузыки из текстовых описаний.
Видео
- Создание музыки с помощью Magenta: использование машинного обучения в искусстве — 7 ноября 2019 г. Сочинять музыку сложно, а отсутствие вдохновения может быть пугающим. В этом видео показано, как машинное обучение можно использовать при создании музыки.
- Как закодировать генетический алгоритм генерации музыки? – 3 апреля 2021 г. В этом видео обсуждается программирование генетического алгоритма для создания музыки, основанного на концепциях, представленных в предыдущем видео.
- Глубокое обучение для создания музыки – 8 февраля 2018 г. В этом выпуске шоу об искусственном интеллекте Эрика объясняет, как создавать модели глубокого обучения, используя музыку в качестве входных данных, углубляясь в технические аспекты создания музыки с помощью глубокого обучения.
- Сочинение хэви-метала с помощью GPT — HuggingFace for Music — 26 января 2022 г. В этом видео демонстрируется использование HuggingFace для создания музыки с особым акцентом на сочинение хэви-метала.
- MusicGen: объяснение простого и управляемого создания музыки — 25 июня 2023 г. В этом видеоролике представлено объяснение MusicGen — платформы для простого и управляемого создания музыки.
- Jawlove - Everything Will Be Alright - YouTube - Музыкальный клип на песню Jawlove "Everything Will Be Alright".
- Музыкальное начало с Карен #7 Slippery Fish – YouTube – Видео из программы Music Generation Waterford, демонстрирующее музыкальное образование.
- Кибернетический праздник | электронная танцевальная музыка | Loudly AI Music Generator — YouTube — видео, демонстрирующее использование Loudly AI Music Generator для создания музыки в формате EDM.
- Music Generation Cork City – YouTube – плейлист с видео, демонстрирующими выступления Music Generation Cork City.
- Лучшие инструменты создания музыки с помощью искусственного интеллекта (общедоступные инструменты) – видео – видеоролик, в котором рассматриваются лучшие доступные инструменты создания музыки с использованием искусственного интеллекта, включая Mubert AI, AIVA, Soundraw, Beatoven AI, Boomy и Amper Music.
Инструменты и программное обеспечение
- Stability AI представляет Stable Audio: универсальную платформу для создания музыки AI. Stability AI запустила новую платформу искусственного интеллекта Stable Audio, которая предлагает новую модель скрытой диффузии для генерации звука с учетом метаданных и синхронизации, обеспечивая более быстрое время вывода и творческий контроль.
- SuperCollider: аудиосервер, язык программирования и IDE для синтеза звука. SuperCollider — это платформа для синтеза звука и алгоритмической композиции.
- Лучшие музыкальные генераторы искусственного интеллекта с открытым исходным кодом: реализация AudioLM, подхода к языковому моделированию генерации звука с использованием Pytorch. Он включает в себя механизмы обработки для большего контроля над создаваемой музыкой.
- Soundful: музыкальный генератор с искусственным интеллектом, который позволяет создателям мгновенно создавать треки без лицензионных отчислений. Soundful генерирует высококачественную музыку с помощью технологии искусственного интеллекта, что позволяет каждому легко создавать профессионально звучащую музыку.
- Strasheela: система создания музыки на основе ограничений. Пользователи определяют музыкальные теории с помощью наборов композиционных правил, а система генерирует музыку, соответствующую этим теориям.
- Лучшие генераторы музыки с искусственным интеллектом — обзоры и сравнение 2023 года: онлайн-инструмент с множеством способов создания каверов на песни, включая поиск песен, загрузку аудиофайлов и прямую запись.
- Что такое музыка, генерируемая искусственным интеллектом? Лучшие музыкальные инструменты на 2023 год: программное обеспечение, которое позволяет предприятиям рассматривать музыку, созданную искусственным интеллектом, как более дешевую альтернативу, предлагая бесплатную пробную версию с неограниченным количеством музыкальных проектов и ежемесячной загрузкой песен.
- Лучшее программное обеспечение для редактирования аудио в 2023 году: сравните обзоры на 100+ | G2: Полный список программного обеспечения для редактирования звука, обычно используемого звукоинженерами и музыкальными продюсерами, с обзорами продуктов в режиме реального времени от проверенных пользователей.
- Обзоры Psycle Modular Music Creation Studio — 2023 г.: Отзывы пользователей и оценки бесплатного программного обеспечения с открытым исходным кодом Psycle Modular Music Creation Studio.
Конференции и мероприятия
- Мероприятия Neuton.AI. Neuton.AI проводит различные мероприятия, в том числе ARM Tech Talk об интеллектуальной зубной щетке следующего поколения и демонстрирует свою уникальную структуру нейронной сети для создания компактных моделей оптимального размера и точности.
- Мероприятия FUTURE DEAD ARTISTS — будьте в курсе предстоящих мероприятий FUTURE DEAD ARTISTS, в том числе курса первокурсников FDA 2023: разговоры художников БУДУЩЕГО ПОКОЛЕНИЯ.
- Генеративный искусственный интеллект, приложения и DevOps | AI/ML Talks — Пулуми представляет доклад о генеративном искусственном интеллекте, приложениях и DevOps в области AI/ML Talks 19 октября 2023 года в Сиэтле, штат Вашингтон.
- Женщины в технологиях и предпринимательстве — «Счастливый час» отделения Форт-Лодердейла — Мероприятие «Счастливый час» отделения Форт-Лодердейла для женщин в сфере технологий и предпринимательства.
Слайды и презентации
- Алгоритмическая генерация музыки | PPT: слайды, посвященные алгоритмическому созданию музыки, доступны бесплатно в формате PDF или онлайн.
- Генерация музыки с помощью глубокого обучения | PPT: Презентация, посвященная созданию музыки с использованием глубокого обучения, которую можно загрузить в формате PDF или для просмотра в Интернете.
- Создание фоновой музыки для видео с помощью управляемого музыкального преобразователя: слайды, на которых обсуждается создание фоновой музыки для видео с помощью управляемого музыкального преобразователя, доступны в формате PDF или для просмотра в Интернете.
- Автоматическое создание музыки с использованием глубокого обучения | PDF: слайды, объясняющие процесс автоматического создания музыки с использованием глубокого обучения, которые можно загрузить в формате PDF или для просмотра в Интернете.
- MuseGAN: Многодорожечные последовательные генеративно-состязательные сети для генерации и сопровождения символической музыки (AAAI 2018): Слайды, представляющие MuseGAN, структуру для многодорожечных последовательных генеративно-состязательных сетей для генерации символической музыки и сопровождения, доступную в формате PDF или для онлайн-просмотра.
- Автоматическая музыкальная композиция с трансформерами, январь 2021 г. | PPT: Презентация, представляющая текущие проекты по автоматическому созданию музыки с использованием Transformers, которую можно загрузить в формате PDF или для просмотра в Интернете.
- Учебное пособие ISMIR 2019: Создание музыки с помощью генеративно-состязательных сетей (GAN): слайды из учебного пособия ISMIR 2019 по созданию музыки с помощью генеративно-состязательных сетей (GAN), доступные в формате PDF или для онлайн-просмотра.
- PopMAG: Создание аккомпанемента поп-музыки | PPT: Слайды, посвященные PopMAG, платформе для создания аккомпанемента поп-музыки, доступны в формате PDF или для просмотра онлайн.
- Искусственный интеллект и музыка | PPT: слайды, посвященные применению рекуррентных нейронных сетей в сочетании с LSTM для создания музыки, которые можно загрузить в формате PDF или для просмотра в Интернете.
- Машинное обучение для творческих приложений искусственного интеллекта в музыке (ноябрь 2018 г.) | PPT: презентация о машинном обучении для творческих приложений искусственного интеллекта в музыке, доступная в формате PDF или для онлайн-просмотра.
Эта первоначальная версия Awesome List была создана с помощью Awesome List Generator. Это пакет Python с открытым исходным кодом, который использует возможности моделей GPT для автоматического подбора и создания отправных точек для списков ресурсов, связанных с определенной темой.