Impresionante generación musical con IA
Bienvenido a la lista Awesome Music Generation with AI, una colección seleccionada de recursos, proyectos y marcos en la intersección de la inteligencia artificial y la creación musical. A lo largo de los años, el campo de la música generativa ha sido testigo de una evolución significativa, impulsada por avances en el aprendizaje automático y las tecnologías de aprendizaje profundo. Desde la composición algorítmica hasta la generación de música en tiempo real, la IA ha abierto nuevos horizontes, permitiendo una combinación de creatividad y automatización que antes era inimaginable.
Esta lista pretende ser un centro integral para entusiastas, investigadores y profesionales, que reúna proyectos pioneros, artículos de investigación influyentes y marcos de vanguardia que están dando forma al futuro de la generación musical a través de la IA. Si usted es un músico que explora la frontera digital, un investigador que traspasa los límites de lo posible o un desarrollador que busca integrar capacidades musicales impulsadas por IA en aplicaciones, esta colección le proporcionará una rica fuente de inspiración y conocimiento.
Tabla de contenido
- Proyectos GitHub
- Artículos y blogs
- Cursos en línea
- Libros
- Artículos de investigación
- Vídeos
- Herramientas y software
- Conferencias y Eventos
- Diapositivas y presentaciones
Proyectos GitHub
- Magenta: Generación de música y arte con inteligencia artificial ??️ (18712 estrellas)
- Audiocraft: una biblioteca para procesamiento y generación de audio con aprendizaje profundo, que incluye MusicGen, un LM de generación de música controlable con acondicionamiento textual y melódico (17044 estrellas)
- Muzic: ¿Entendimiento y generación musical con inteligencia artificial? (3765 estrellas)
- musiclm-pytorch: ¿Implementación en PyTorch de MusicLM, el modelo de última generación de Google para la generación de música utilizando redes de atención? (2763 estrellas)
- riffusion: ¿Difusión estable para la generación de música en tiempo real? (2727 estrellas)
- Mubert-Text-to-Music: ¿Un cuaderno que demuestra la generación de música basada en indicaciones utilizando la API de Mubert? (2674 estrellas)
- riffusion-app: ¿Difusión estable para la generación de música en tiempo real en una aplicación web? (2474 estrellas)
- Magenta.js: Generación de música y arte con aprendizaje automático en el navegador ??️ (1899 estrellas)
- AudioLDM2: ¿Generación de texto a audio/música? (1733 estrellas)
- musegan: ¿Una IA para la generación musical? (1602 estrellas)
- Radium : un editor gráfico de música y un rastreador de próxima generación. ?⚡️ (805 estrellas)
- GRUV : Un proyecto Python para la generación algorítmica de música. ?? (798 estrellas)
- DeepJ : un modelo de aprendizaje profundo para la generación de música de un estilo específico. ? (717 estrellas)
- Generación musical con aprendizaje profundo : Recursos sobre generación musical mediante aprendizaje profundo. ? (700 estrellas)
- Musika : Generación rápida de música con formas de onda infinitas. ?? (646 estrellas)
- Investigación sobre generación musical : una colección de recursos de investigación sobre generación musical. ?? (516 estrellas)
- MusPy : un conjunto de herramientas para la generación de música simbólica. ?? (387 estrellas)
- MusicGenerator : experimente con diversos modelos de aprendizaje profundo para la generación de música con TensorFlow. ?? (309 estrellas)
- MuseTree : generación de música con IA para el mundo real. ?? (215 estrellas)
- VampNET : ¡Generación de música con transformadores enmascarados! ?? (204 estrellas)
Artículos y blogs
- Generación de música simple y controlable: un modelo de lenguaje único (LM) llamado MusicGen que opera sobre representación de música discreta comprimida, lo que permite un mejor control sobre la salida generada. Muestras de música, códigos y modelos están disponibles en el enlace proporcionado.
- Sistemas de generación de música afectiva basados en IA: una revisión de métodos: una revisión exhaustiva de los sistemas AI-AMG, que analiza sus componentes básicos, categoriza los sistemas existentes en función de algoritmos centrales y explora enfoques basados en IA para componer música afectiva.
- Music FaderNets: generación de música controlable basada en alto: un marco (Music FaderNets) para aprender representaciones de características de alto nivel mediante la manipulación de atributos de bajo nivel mediante técnicas de desenredo de características y regularización latente.
- Generación musical mediante aprendizaje profundo: desafíos y direcciones: una descripción general de los enfoques de aprendizaje profundo para la generación musical, analizando sus limitaciones en términos de creatividad y control.
- MusPy: un conjunto de herramientas para la generación de música simbólica: Introducción de MusPy, una biblioteca Python de código abierto para la generación de música simbólica, que proporciona herramientas para la gestión de conjuntos de datos, el preprocesamiento de datos y la evaluación de modelos. También se incluye el análisis estadístico de los conjuntos de datos compatibles.
- Generación de música con codificador automático recurrente variacional compatible: Introducción de una nueva arquitectura de red, codificador automático variacional respaldado por historial, para generar patrones melódicos más largos. Se utilizan heurísticas de filtrado para mejorar la música generada.
- Generación de música simbólica con modelos de difusión: aplicación de modelos de difusión para modelar música simbólica, demostrando fuertes resultados de generación y relleno condicional.
- Magenta: un proyecto de investigación que explora el papel del aprendizaje automático en la creación de arte y música.
- Cómo generar música con Python: conceptos básicos: un artículo que analiza los conceptos básicos de generar música con Python, destacando su uso en la generación MIDI procedimental.
- MidiNet: una red adversaria generativa convolucional para: Investigación del uso de redes neuronales convolucionales (CNN) para generar melodías en el dominio simbólico, introduciendo mecanismos condicionales y expandiéndose a múltiples canales MIDI.
- Una encuesta sobre inteligencia artificial para la generación musical: agentes...
- Este artículo de estudio explora el campo de la generación de música con inteligencia artificial (IA), analizando las técnicas de composición y los avances en los sistemas de IA que imitan el proceso de generación de música. También destaca el papel de los conjuntos de datos, modelos, interfaces y usuarios en el proceso de generación de música, junto con aplicaciones potenciales y direcciones de investigación futuras.
- ¿Generando música con inteligencia artificial?
- Este artículo proporciona información sobre cómo se pueden utilizar las redes neuronales recurrentes (RNN) para la generación de música con aprendizaje automático. Sirve como repaso de las técnicas de generación de texto basadas en RNN.
- De las redes neuronales artificiales al aprendizaje profundo para la música...
- Este artículo explora la aplicación de técnicas de aprendizaje profundo en la generación musical. Ofrece un tutorial sobre cómo se puede utilizar el aprendizaje profundo para aprender automáticamente estilos musicales y generar muestras musicales.
- Noise2Music: Generación de música condicionada por texto con difusión ...
- Esta investigación presenta Noise2Music, un sistema que utiliza modelos de difusión para generar clips musicales de alta calidad a partir de indicaciones de texto. Demuestra cómo el audio generado puede capturar el género, el tempo, los instrumentos, el estado de ánimo y la época especificados en el texto.
- ¿Un codificador automático variacional de clasificación con aplicación a...?
- Este artículo presenta un modelo basado en el marco del codificador automático variacional (VAE) para la generación algorítmica de música. El modelo incorpora un clasificador para inferir la clase discreta de los datos modelados, permitiendo generar secuencias musicales en diferentes tonalidades.
- Generando música ambiental desde WaveNet
- Esta publicación analiza la motivación y el enfoque para generar música ambiental utilizando WaveNet de Google DeepMind, un modelo de generación de audio.
- Generando música usando una red neuronal LSTM
- Esta publicación de blog presenta el uso de una red neuronal de memoria a corto plazo (LSTM) para la generación de música. Cubre las mejoras realizadas a un modelo LSTM existente.
- ¿Modelos probabilísticos de difusión discreta para la generación de música simbólica?
- Este trabajo introduce la generación de música simbólica polifónica utilizando Modelos Probabilísticos de Difusión Discreta (DDPM). Los modelos exhiben una generación de muestras de alta calidad y permiten un relleno flexible al nivel de las notas. El artículo también analiza la evaluación de la calidad de las muestras musicales y las posibles aplicaciones de estos modelos.
Cursos en línea
- Cursos y certificaciones de IA generativa: ¡Da el siguiente paso en tu trayectoria profesional e inscríbete en un curso de IA generativa hoy! Explore los cursos de IA generativa ofrecidos por las mejores universidades y líderes de la industria. ?
- Curso completo de generación de arte con IA - Principiante 2 MAESTRO: aprenda a generar de todo, desde lenguaje, arte, música y mucho más, utilizando algoritmos de IA de última generación. ??
- Andrew Ng: Anuncio de mi nueva especialización en aprendizaje profundo: sumérjase en el aprendizaje profundo con Andrew Ng, un reconocido experto en inteligencia artificial, y aprenda los fundamentos de este apasionante campo. ?
- Los mejores cursos y certificaciones de aprendizaje profundo (Coursera): mejore sus habilidades y conocimientos de aprendizaje profundo inscribiéndose en una amplia gama de cursos ofrecidos por las mejores universidades y líderes de la industria.
Libros
- Técnicas de aprendizaje profundo para la generación musical: este libro presenta una encuesta y un análisis de cómo se puede utilizar el aprendizaje profundo para generar contenido musical, proporcionando conocimientos para estudiantes, profesionales e investigadores.
- Composición algorítmica: paradigmas de la generación musical automatizada: al ofrecer una descripción detallada de la composición algorítmica, este libro se centra en procedimientos y principios destacados de una manera práctica.
- Generación musical práctica con Magenta: explore el papel del aprendizaje profundo en la generación musical y la composición asistida con Magenta. Esta guía práctica integra modelos de aprendizaje automático en herramientas de producción musical existentes.
- Aprendizaje automático y generación musical: profundice en la intersección del aprendizaje automático y la generación musical con este libro completo, que cubre el uso de técnicas de aprendizaje automático en la creación musical.
Artículos de investigación
- Generación de música simple y controlable: este artículo presenta MusicGen, un modelo de lenguaje único (LM) que genera muestras de música de alta calidad condicionadas a una descripción textual o características melódicas, lo que permite un mejor control sobre la salida generada. Muestra un rendimiento superior en comparación con las líneas de base en un punto de referencia estándar de conversión de texto a música.
- Generación de música neuronal eficiente: MeLoDy (M para música; L para LM; D para difusión) se propone como un modelo de difusión guiado por LM que genera audios musicales de calidad de última generación al tiempo que reduce los pasos hacia adelante en el proceso de muestreo. haciéndolo computacionalmente eficiente.
- Noise2Music: generación de música condicionada por texto con difusión: este artículo presenta Noise2Music, una serie de modelos de difusión entrenados para generar clips musicales de 30 segundos de alta calidad a partir de indicaciones de texto. Explora diferentes opciones para representaciones intermedias y demuestra la capacidad de reflejar fielmente elementos clave del mensaje de texto.
- VampNet: generación de música mediante modelado de tokens acústicos enmascarados: VampNet aprovecha una arquitectura de transformador bidireccional y un programa de enmascaramiento variable durante el entrenamiento para generar formas de onda musicales coherentes de alta fidelidad. Muestra capacidades en síntesis, compresión, pintura y variación de música.
- MuseGAN: Redes antagónicas generativas secuenciales multipista: este artículo propone tres modelos para la generación de música simbólica multipista utilizando redes antagónicas generativas (GAN), teniendo en cuenta la dinámica temporal y las interdependencias entre pistas.
- JEN-1: Generación de música universal guiada por texto con difusión: JEN-1 se presenta como un modelo universal de alta fidelidad para la generación de texto a música, incorporando entrenamiento autorregresivo y no autorregresivo. Demuestra un rendimiento superior en la alineación texto-música y la calidad de la música.
- Museformer: Transformer con atención fina y gruesa: Museformer es un enfoque basado en Transformer para la generación de música que aborda desafíos relacionados con secuencias musicales largas y estructuras de repetición musical. Introduce mecanismos de atención finos y gruesos para capturar estructuras musicales relevantes de manera eficiente.
- Una encuesta completa sobre la generación de música profunda: perspectivas multinivel: esta encuesta proporciona una descripción general de las técnicas de aprendizaje profundo en la generación de música, cubriendo varias tareas de composición en diferentes niveles de generación de música (generación de partituras, generación de interpretaciones y generación de audio).
- GAN cuantificado para generación de música compleja a partir de videos de danza: Dance2Music-GAN (D2M-GAN) es un marco multimodal adversario que genera muestras musicales complejas condicionadas a videos de danza. Utiliza representación de audio Vector Quantized (VQ) para generar diversos estilos de música dance.
- ¡Música! Generación de música Fast Infinite Waveform: sistema de generación de música rápido y controlable por el usuario que permite una generación de música de duración arbitraria mucho más rápida que en tiempo real en una CPU de consumo.
- Una revisión sistemática de la generación de música basada en inteligencia artificial: proporciona una amplia gama de publicaciones y explora el interés de músicos e informáticos en la generación automática de música basada en inteligencia artificial.
- MidiNet: una red adversaria generativa convolucional para la generación de música: introduce el uso de redes neuronales convolucionales (CNN) para generar melodías en el dominio simbólico.
- Generación musical mediante aprendizaje profundo: desafíos y direcciones: explora las limitaciones del aprendizaje profundo para la generación musical y la necesidad de control, estructura, creatividad e interactividad.
- ¿Qué falta en la generación de música profunda? Un estudio de repetición y estructura: investiga la comprensión de la estructura y repetición de la música en el contexto de la generación musical y sugiere nuevos criterios musicales formales y métodos de evaluación.
- Generación de música simbólica con modelos de difusión: presenta una técnica para entrenar modelos de difusión en datos secuenciales para generar música simbólica con una fuerte generación incondicional y resultados de relleno condicional post-hoc.
- Modelos probabilísticos de difusión discreta para la generación de música simbólica: explora la aplicación de modelos probabilísticos de difusión discreta (D3PM) para generar música simbólica polifónica con alta calidad de muestra y relleno flexible.
- MMM: Explorando la generación de música multipista condicional con Transformer: presenta un sistema generativo basado en la arquitectura Transformer para generar música multipista con mayor control y manejo de dependencias a largo plazo.
- Técnicas de Aprendizaje Profundo para la Generación Musical - Una Encuesta: Analiza las diferentes formas de utilizar el aprendizaje profundo para generar contenido musical, abarcando objetivos, representaciones, arquitecturas, desafíos y evaluación.
- Mo^usai: Generación de texto a música con difusión latente de contexto largo: une la conexión entre texto y música con un modelo de generación de texto a música altamente eficiente que puede generar varios minutos de música estéreo de alta calidad a partir de descripciones textuales.
Vídeos
- Music Generation con Magenta: uso del aprendizaje automático en las artes - 7 de noviembre de 2019. Componer música es difícil y la falta de inspiración puede resultar desalentadora. Este vídeo explora cómo se puede utilizar el aprendizaje automático en la generación de música.
- ¿Cómo codificar un algoritmo genético de generación musical? - 3 de abril de 2021. Este video analiza la codificación de un algoritmo genético para generar música, basándose en los conceptos presentados en un video anterior.
- Aprendizaje profundo para la generación musical - 8 de febrero de 2018. En este episodio del programa de IA, Erika explica cómo crear modelos de aprendizaje profundo utilizando la música como entrada, profundizando en los aspectos técnicos de la generación musical mediante el aprendizaje profundo.
- Composing Heavy Metal with GPT - HuggingFace for Music - 26 de enero de 2022. Este video muestra el uso de HuggingFace para la generación de música, centrándose específicamente en la composición de música heavy metal.
- MusicGen: explicación de la generación de música simple y controlable - 25 de junio de 2023. Este video proporciona una explicación de MusicGen, un marco para la generación de música simple y controlable.
- Jawlove - Everything Will Be Alright - YouTube - Un vídeo musical con la canción "Everything Will Be Alright" de Jawlove.
- Comienzos musicales con Karen #7 Slippery Fish - YouTube - Un video del programa Music Generation Waterford que muestra una presentación de educación musical.
- Celebración Cibernética | Electroerosión | Loudly AI Music Generator - YouTube: un vídeo que demuestra el uso de Loudly AI Music Generator para crear música EDM.
- Music Generation Cork City - YouTube: una lista de reproducción de vídeos que muestran actuaciones de Music Generation Cork City.
- Principales herramientas de generación de música con IA (herramientas disponibles públicamente): video: un video que explora las principales herramientas de generación de música con IA disponibles, incluidas Mubert AI, AIVA, Soundraw, Beatoven AI, Boomy y Amper Music.
Herramientas y software
- Stability AI presenta 'Stable Audio': una plataforma versátil para AI Music Generation. Stability AI ha lanzado una nueva plataforma de IA, Stable Audio, que ofrece un novedoso modelo de difusión latente para generar audio condicionado a metadatos y sincronización, proporcionando tiempos de inferencia más rápidos y control creativo.
- SuperCollider: servidor de audio, lenguaje de programación e IDE para síntesis de sonido. SuperCollider es una plataforma para síntesis de audio y composición algorítmica.
- Los mejores generadores de música con IA de código abierto: implementación de AudioLM, un enfoque de modelado de lenguaje para la generación de audio utilizando Pytorch. Incluye mecanismos de acondicionamiento para un mayor control sobre la música generada.
- Soundful: un generador de música con IA que permite a los creadores generar pistas libres de regalías al instante. Soundful genera música de alta calidad utilizando tecnología de inteligencia artificial, lo que facilita que cualquiera pueda crear música con sonido profesional.
- Strasheela: un sistema de composición musical basado en restricciones. Los usuarios definen las teorías musicales con conjuntos de reglas de composición y el sistema genera música que cumple con estas teorías.
- Los mejores generadores de música con IA: reseñas y comparación de 2023: una herramienta en línea con múltiples formas de crear versiones de canciones, incluida la búsqueda de canciones, la carga de archivos de audio y la grabación directa.
- ¿Qué es la música generada por IA? Las mejores herramientas musicales para 2023: un software que permite a las empresas explorar la música generada por IA como una alternativa más económica, ofreciendo una prueba gratuita con proyectos musicales ilimitados y descargas mensuales de canciones.
- El mejor software de edición de audio en 2023: compare reseñas de más de 100 | G2: una lista completa de software de edición de audio comúnmente utilizado por ingenieros de audio y productores musicales, con reseñas de productos en tiempo real de usuarios verificados.
- Reseñas de Psycle Modular Music Creation Studio - 2023: Reseñas de usuarios y calificaciones del proyecto de software gratuito de código abierto Psycle Modular Music Creation Studio.
Conferencias y Eventos
- Eventos Neuton.AI: Neuton.AI organiza varios eventos, incluida una charla técnica ARM sobre el cepillo de dientes inteligente de próxima generación y muestra su marco de red neuronal único para construir modelos compactos con tamaño y precisión óptimos.
- Eventos de FUTURE DEAD ARTISTS: manténgase actualizado sobre los próximos eventos de FUTURE DEAD ARTISTS, incluida la clase de primer año de la FDA 2023: FUTURE GENERATION Artists Talk.
- IA generativa, aplicaciones y DevOps | Charlas sobre IA/ML: Pulumi presenta una charla sobre IA generativa, aplicaciones y DevOps en el campo de las charlas sobre IA/ML el 19 de octubre de 2023 en Seattle, WA.
- Mujeres en tecnología y emprendimiento - Happy Hour del capítulo de Fort Lauderdale - Evento Happy Hour del capítulo de Fort Lauderdale para mujeres en tecnología y emprendimiento.
Diapositivas y presentaciones
- Generación algorítmica de música | PPT: diapositivas que analizan la generación algorítmica de música, disponibles de forma gratuita en formato PDF o en línea.
- Generación Musical con Aprendizaje Profundo | PPT: Presentación que explora la generación de música mediante aprendizaje profundo, descargable como PDF o para visualización en línea.
- Generación de música de fondo de video con transformador de música controlable: diapositivas que analizan la generación de música de fondo de video usando un transformador de música controlable, disponible como PDF o para visualización en línea.
- Generación automática de música mediante aprendizaje profundo | PDF: Diapositivas que explican el proceso de generación automática de música mediante aprendizaje profundo, descargables como PDF o para visualización en línea.
- MuseGAN: Redes adversarias generativas secuenciales multipista para la generación y el acompañamiento de música simbólica (AAAI 2018): diapositivas que presentan MuseGAN, un marco para redes adversarias generativas secuenciales multipista para la generación y el acompañamiento de música simbólica, disponible en formato PDF o para visualización en línea.
- Composición musical automática con Transformers, enero de 2021 | PPT: Presentación que presenta proyectos en curso sobre composición musical automática usando Transformers, descargable como PDF o para visualización en línea.
- Tutorial de ISMIR 2019: Generación de música con redes generativas adversarias (GAN): diapositivas del tutorial de ISMIR 2019 sobre generación de música con redes generativas adversarias (GAN), disponibles en formato PDF o para visualización en línea.
- PopMAG: Generación de acompañamiento de música pop | PPT: diapositivas sobre PopMAG, un marco para la generación de acompañamiento de música pop, disponible en formato PDF o para visualización en línea.
- Inteligencia artificial y Música | PPT: Diapositivas que exploran la aplicación de redes neuronales recurrentes emparejadas con LSTM para la generación de música, descargables como PDF o para visualización en línea.
- Aprendizaje automático para aplicaciones creativas de IA en la música (noviembre de 2018) | PPT: Presentación sobre aprendizaje automático para aplicaciones creativas de IA en música, disponible en formato PDF o para visualización en línea.
Esta versión inicial de Awesome List se generó con la ayuda del Awesome List Generator. Es un paquete Python de código abierto que utiliza el poder de los modelos GPT para seleccionar y generar automáticamente puntos de partida para listas de recursos relacionados con un tema específico.
