Geração musical incrível com IA
Bem-vindo à lista Awesome Music Generation with AI, uma coleção com curadoria de recursos, projetos e estruturas na intersecção da inteligência artificial e da criação musical. Ao longo dos anos, o campo da música generativa testemunhou uma evolução significativa, impulsionada por avanços no aprendizado de máquina e nas tecnologias de aprendizado profundo. Da composição algorítmica à geração de música em tempo real, a IA abriu novos horizontes, permitindo uma mistura de criatividade e automação que antes era inimaginável.
Esta lista pretende ser um centro abrangente para entusiastas, investigadores e profissionais, reunindo projetos pioneiros, documentos de investigação influentes e estruturas de última geração que estão a moldar o futuro da geração musical através da IA. Quer você seja um músico explorando a fronteira digital, um pesquisador que ultrapassa os limites do que é possível ou um desenvolvedor que deseja integrar recursos musicais baseados em IA em aplicativos, esta coleção fornecerá uma rica fonte de inspiração e conhecimento.
Índice
- Projetos GitHub
- Artigos e blogs
- Cursos on-line
- Livros
- Artigos de pesquisa
- Vídeos
- Ferramentas e software
- Conferências e Eventos
- Slides e apresentações
Projetos GitHub
- Magenta: geração de música e arte com inteligência de máquina ??️ (18.712 estrelas)
- Audiocraft: Uma biblioteca para processamento e geração de áudio com aprendizado profundo, incluindo MusicGen, um LM de geração de música controlável com condicionamento textual e melódico (17.044 estrelas)
- Muzic: compreensão e geração de música com inteligência artificial? (3765 estrelas)
- musiclm-pytorch: Implementação PyTorch do MusicLM, o modelo de última geração do Google para geração de música usando redes de atenção? (2763 estrelas)
- riffusion: Difusão estável para geração de música em tempo real? (2727 estrelas)
- Mubert-Text-to-Music: Um notebook demonstrando a geração de música baseada em prompts usando a API Mubert? (2674 estrelas)
- riffusion-app: Difusão estável para geração de música em tempo real em um aplicativo da web? (2474 estrelas)
- Magenta.js: Geração de música e arte com aprendizado de máquina no navegador ??️ (1899 estrelas)
- AudioLDM2: Geração de texto para áudio/música? (1733 estrelas)
- musegan: Uma IA para geração musical? (1602 estrelas)
- Radium : Um editor gráfico de música e rastreador de próxima geração. ?⚡️ (805 estrelas)
- GRUV : Um projeto Python para geração algorítmica de música. ?? (798 estrelas)
- DeepJ : Um modelo de aprendizagem profunda para geração de música específica de um estilo. ? (717 estrelas)
- Geração Musical com Aprendizado Profundo : Recursos sobre geração musical usando aprendizado profundo. ? (700 estrelas)
- Musika : Geração rápida de música em forma de onda infinita. ?? (646 estrelas)
- Pesquisa de geração musical : uma coleção de recursos de pesquisa de geração musical. ?? (516 estrelas)
- MusPy : Um kit de ferramentas para geração de música simbólica. ?? (387 estrelas)
- MusicGenerator : experimente diversos modelos de aprendizado profundo para geração de música com o TensorFlow. ?? (309 estrelas)
- MuseTree : geração de música com IA para o mundo real. ?? (215 estrelas)
- VampNET : Geração musical com transformadores mascarados! ?? (204 estrelas)
Artigos e blogs
- Geração de música simples e controlável: Um modelo de linguagem única (LM) chamado MusicGen que opera sobre representação musical discreta compactada, permitindo melhor controle sobre a saída gerada. Amostras de música, código e modelos estão disponíveis no link fornecido.
- Sistemas de geração de música afetiva baseados em IA: uma revisão de métodos: uma revisão abrangente dos sistemas AI-AMG, discutindo seus blocos de construção, categorizando sistemas existentes com base em algoritmos principais e explorando abordagens baseadas em IA para compor música afetiva.
- Music FaderNets: Geração de música controlável baseada em alta: Uma estrutura (Music FaderNets) para aprender representações de recursos de alto nível, manipulando atributos de baixo nível por meio de desemaranhamento de recursos e técnicas de regularização latente.
- Geração de Música por Deep Learning-Challenges and Directions: Uma visão geral das abordagens de aprendizagem profunda para geração de música, discutindo suas limitações em termos de criatividade e controle.
- MusPy: um kit de ferramentas para geração de música simbólica: introdução do MusPy, uma biblioteca Python de código aberto para geração de música simbólica, fornecendo ferramentas para gerenciamento de conjunto de dados, pré-processamento de dados e avaliação de modelo. A análise estatística dos conjuntos de dados suportados também está incluída.
- Geração de música com autoencoder variacional recorrente suportado: Introdução de uma nova arquitetura de rede, autoencoder variacional suportado por histórico, para geração de padrões melódicos mais longos. Heurísticas de filtragem são usadas para aprimorar a música gerada.
- Geração de Música Simbólica com Modelos de Difusão: Aplicação de modelos de difusão para modelar música simbólica, demonstrando fortes resultados de geração e preenchimento condicional.
- Magenta: Um projeto de pesquisa que explora o papel do aprendizado de máquina na criação de arte e música.
- Como gerar música com Python: The Basics: Um artigo que discute os fundamentos da geração de música com Python, destacando seu uso na geração MIDI processual.
- MidiNet: Uma Rede Adversarial Gerativa Convolucional para: Investigação do uso de redes neurais convolucionais (CNNs) para gerar melodia no domínio simbólico, introduzindo mecanismos condicionais e expandindo para múltiplos canais MIDI.
- Uma Pesquisa sobre Inteligência Artificial para Geração Musical: Agentes...
- Este artigo de pesquisa explora o campo da geração musical com inteligência artificial (IA), discutindo as técnicas de composição e os avanços em sistemas de IA que imitam o processo de geração musical. Também destaca o papel dos conjuntos de dados, modelos, interfaces e usuários no processo de geração de música, juntamente com aplicações potenciais e direções de pesquisas futuras.
- Gerando música com inteligência artificial?
- Este artigo fornece insights sobre como redes neurais recorrentes (RNNs) podem ser usadas para geração de música com aprendizado de máquina. Ele serve como uma atualização para técnicas de geração de texto baseadas em RNN.
- Das redes neurais artificiais ao aprendizado profundo para música...
- Este artigo explora a aplicação de técnicas de aprendizagem profunda na geração musical. Ele oferece um tutorial sobre como o aprendizado profundo pode ser usado para aprender automaticamente estilos musicais e gerar amostras musicais.
- Noise2Music: geração de música condicionada por texto com difusão ...
- Esta pesquisa apresenta o Noise2Music, um sistema que utiliza modelos de difusão para gerar clipes musicais de alta qualidade a partir de prompts de texto. Ele demonstra como o áudio gerado pode capturar o gênero, o andamento, os instrumentos, o clima e a época especificados no texto.
- Um autoencoder variacional de classificação com aplicação para ...?
- Este artigo apresenta um modelo baseado na estrutura do autoencoder variacional (VAE) para geração algorítmica de música. O modelo incorpora um classificador para inferir a classe discreta dos dados modelados, permitindo a geração de sequências musicais em diferentes tonalidades.
- Gerando música ambiente do WaveNet
- Esta postagem discute a motivação e a abordagem para gerar música ambiente usando o WaveNet do Google DeepMind, um modelo gerador de áudio.
- Gerando música usando uma rede neural LSTM
- Esta postagem do blog apresenta o uso de uma rede neural de memória de longo e curto prazo (LSTM) para geração de música. Abrange melhorias feitas em um modelo LSTM existente.
- Modelos probabilísticos de difusão discreta para geração de música simbólica?
- Este trabalho apresenta a geração de música simbólica polifônica utilizando Modelos Probabilísticos de Difusão Discreta (DDPMs). Os modelos exibem geração de amostras de alta qualidade e permitem preenchimento flexível no nível das notas. O artigo também discute a avaliação da qualidade de amostras musicais e as possíveis aplicações desses modelos.
Cursos on-line
- Cursos e certificações de IA generativa: dê o próximo passo em sua jornada profissional e inscreva-se hoje mesmo em um curso de IA generativa! Navegue pelos cursos de IA generativa oferecidos pelas principais universidades e líderes do setor. ?
- Curso completo de geração de arte de IA - Iniciante 2 MESTRE: Aprenda como gerar tudo, desde linguagem, arte, música e muito mais usando algoritmos de IA de ponta. ??
- Andrew Ng: Anunciando minha nova especialização em Deep Learning: Mergulhe no aprendizado profundo com Andrew Ng, um renomado especialista em IA, e aprenda os fundamentos deste campo emocionante. ?
- Melhores cursos e certificações de aprendizado profundo (Coursera): Aprimore suas habilidades e conhecimentos de aprendizado profundo inscrevendo-se em uma ampla variedade de cursos oferecidos pelas melhores universidades e líderes do setor.
Livros
- Técnicas de aprendizagem profunda para geração de música: Este livro apresenta uma pesquisa e análise de como a aprendizagem profunda pode ser utilizada para gerar conteúdo musical, fornecendo insights para estudantes, profissionais e pesquisadores.
- Composição Algorítmica: Paradigmas de Geração Musical Automatizada: Oferecendo uma visão geral detalhada da composição algorítmica, este livro concentra-se em procedimentos e princípios proeminentes de maneira prática.
- Geração prática de música com Magenta: Explore o papel do aprendizado profundo na geração de música e composição assistida com Magenta. Este guia prático integra modelos de ML às ferramentas de produção musical existentes.
- Aprendizado de máquina e geração de música: mergulhe na interseção entre aprendizado de máquina e geração de música com este livro abrangente, que aborda o uso de técnicas de ML na criação de música.
Artigos de pesquisa
- Geração de música simples e controlável: Este artigo apresenta o MusicGen, um modelo de linguagem única (LM) que gera amostras musicais de alta qualidade condicionadas à descrição textual ou características melódicas, permitindo melhor controle sobre a saída gerada. Ele apresenta desempenho superior em comparação com linhas de base em um benchmark padrão de texto para música.
- Geração Eficiente de Música Neural: MeLoDy (M para música; L para LM; D para difusão) é proposto como um modelo de difusão guiada por LM que gera áudios musicais de qualidade de última geração enquanto reduz passes para frente no processo de amostragem, tornando-o computacionalmente eficiente.
- Noise2Music: geração de música condicionada por texto com difusão: Este artigo apresenta o Noise2Music, uma série de modelos de difusão treinados para gerar clipes musicais de 30 segundos de alta qualidade a partir de prompts de texto. Ele explora diferentes opções para representações intermediárias e demonstra a capacidade de refletir fielmente os principais elementos do prompt de texto.
- VampNet: Geração de Música via Modelagem de Token Acústico Mascarado: VampNet aproveita uma arquitetura de transformador bidirecional e um cronograma de mascaramento variável durante o treinamento para gerar formas de onda musicais coerentes de alta fidelidade. Ele apresenta recursos de síntese musical, compressão, pintura interna e variação.
- MuseGAN: Redes Adversariais Generativas Sequenciais Multipistas: Este artigo propõe três modelos para geração simbólica de música multipista usando redes adversárias generativas (GANs), levando em consideração a dinâmica temporal e as interdependências entre as faixas.
- JEN-1: Geração de música universal guiada por texto com difusão: JEN-1 é apresentado como um modelo universal de alta fidelidade para geração de texto para música, incorporando treinamento autorregressivo e não autorregressivo. Ele demonstra desempenho superior no alinhamento texto-música e qualidade musical.
- Museformer: Transformer com atenção de granulação fina e grossa: Museformer é uma abordagem baseada em Transformer para geração de música que aborda desafios relacionados a longas sequências musicais e estruturas de repetição musical. Ele introduz mecanismos de atenção de granulação fina e grossa para capturar estruturas musicais relevantes de forma eficiente.
- Uma pesquisa abrangente sobre geração de música profunda: perspectivas multiníveis: Esta pesquisa fornece uma visão geral das técnicas de aprendizagem profunda na geração de música, cobrindo várias tarefas de composição em diferentes níveis de geração de música (geração de partitura, geração de performance e geração de áudio).
- GAN quantizado para geração de música complexa a partir de vídeos de dança: Dance2Music-GAN (D2M-GAN) é uma estrutura multimodal adversária que gera amostras musicais complexas condicionadas em vídeos de dança. Ele usa representação de áudio Vector Quantized (VQ) para gerar diversos estilos de música de dança.
- Música! Geração rápida de música em forma de onda infinita: Sistema de geração de música rápido e controlável pelo usuário que permite a geração de música de duração arbitrária muito mais rápida do que em tempo real em uma CPU de consumidor.
- Uma revisão sistemática da geração musical baseada em inteligência artificial: Fornece uma ampla gama de publicações e explora o interesse de músicos e cientistas da computação na geração automática de música baseada em IA.
- MidiNet: Uma Rede Adversarial Gerativa Convolucional para Geração de Música: Introduz o uso de redes neurais convolucionais (CNNs) para gerar melodias no domínio simbólico.
- Geração de Música por Desafios e Direções de Aprendizado Profundo: Explora as limitações do aprendizado profundo para geração de música e a necessidade de controle, estrutura, criatividade e interatividade.
- O que está faltando na geração de música profunda? Um estudo de repetição e estrutura: Investiga a compreensão da estrutura e repetição musical no contexto da geração musical e sugere novos critérios musicais formais e métodos de avaliação.
- Geração de Música Simbólica com Modelos de Difusão: Apresenta uma técnica para treinar modelos de difusão em dados sequenciais para gerar música simbólica com forte geração incondicional e resultados de preenchimento condicional post-hoc.
- Modelos Probabilísticos de Difusão Discreta para Geração de Música Simbólica: Explora a aplicação de Modelos Probabilísticos de Difusão Discreta (D3PMs) para gerar música simbólica polifônica com amostra de alta qualidade e preenchimento flexível.
- MMM: Explorando a geração condicional de música multifaixas com o Transformer: apresenta um sistema generativo baseado na arquitetura Transformer para gerar música multifaixas com maior controle e manipulação de dependências de longo prazo.
- Técnicas de Deep Learning para Geração Musical - Uma Pesquisa: Analisa as diferentes formas de utilização do deep learning para geração de conteúdo musical, abrangendo objetivos, representações, arquiteturas, desafios e avaliação.
- Mo^usai: Geração de texto para música com difusão latente de longo contexto: conecta a conexão entre texto e música com um modelo de geração de texto para música altamente eficiente que pode gerar vários minutos de música estéreo de alta qualidade a partir de descrições textuais.
Vídeos
- Geração musical com Magenta: usando aprendizado de máquina nas artes - 7 de novembro de 2019. Compor música é difícil e a falta de inspiração pode ser assustadora. Este vídeo explora como o aprendizado de máquina pode ser usado na geração de música.
- Como codificar um algoritmo genético de geração de música? - 3 de abril de 2021. Este vídeo discute a codificação de um algoritmo genético para geração de música, com base nos conceitos apresentados em um vídeo anterior.
- Deep Learning for Music Generation - 8 de fevereiro de 2018. Neste episódio do programa de IA, Erika explica como criar modelos de aprendizagem profunda usando música como entrada, investigando os aspectos técnicos da geração de música usando aprendizagem profunda.
- Compondo Heavy Metal com GPT - HuggingFace for Music - 26 de janeiro de 2022. Este vídeo mostra o uso do HuggingFace para geração de música, com foco específico na composição de heavy metal.
- MusicGen: Explicação da geração de música simples e controlável - 25 de junho de 2023. Este vídeo fornece uma explicação do MusicGen, uma estrutura para geração de música simples e controlável.
- Jawlove - Everything Will Be Alright - YouTube - Um videoclipe com a música "Everything Will Be Alright" de Jawlove.
- Musical Beginnings with Karen #7 Slippery Fish - YouTube - Um vídeo do programa Music Generation Waterford apresentando uma performance de educação musical.
- Celebração Cibernética | EDM | Loudly AI Music Generator - YouTube - Um vídeo demonstrando o uso do Loudly AI Music Generator para criar música EDM.
- Music Generation Cork City - YouTube - Uma lista de reprodução de vídeos apresentando performances de Music Generation Cork City.
- Principais ferramentas de geração de música com IA (ferramentas disponíveis publicamente) - vídeo - Um vídeo que explora as principais ferramentas de geração de música com IA disponíveis, incluindo Mubert AI, AIVA, Soundraw, Beatoven AI, Boomy e Amper Music.
Ferramentas e software
- Stability AI revela 'Stable Audio': uma plataforma versátil para AI Music Generation. Stability AI lançou uma nova plataforma de IA, Stable Audio, que oferece um novo modelo de difusão latente para gerar áudio condicionado a metadados e temporização, proporcionando tempos de inferência mais rápidos e controle criativo.
- SuperCollider: Um servidor de áudio, linguagem de programação e IDE para síntese de som. SuperCollider é uma plataforma para síntese de áudio e composição algorítmica.
- Melhores geradores de música AI de código aberto: Implementação de AudioLM, uma abordagem de modelagem de linguagem para geração de áudio usando Pytorch. Inclui mecanismos de condicionamento para maior controle sobre a música gerada.
- Soundful: Um AI Music Generator que permite aos criadores gerar faixas isentas de royalties instantaneamente. Soundful gera música de alta qualidade usando tecnologia de IA, tornando mais fácil para qualquer pessoa criar música com som profissional.
- Strasheela: Um sistema de composição musical baseado em restrições. Os usuários definem teorias musicais com conjuntos de regras de composição, e o sistema gera música que está em conformidade com essas teorias.
- Melhores geradores de música AI - análises e comparação de 2023: uma ferramenta online com várias maneiras de criar covers de músicas, incluindo pesquisa de músicas, upload de arquivos de áudio e gravação direta.
- O que é música gerada por IA? Melhores ferramentas musicais para 2023: um software que permite às empresas explorar a música gerada por IA como uma alternativa mais barata, oferecendo um teste gratuito com projetos musicais ilimitados e downloads mensais de músicas.
- Melhor software de edição de áudio em 2023: compare avaliações em mais de 100 | G2: Uma lista abrangente de softwares de edição de áudio comumente usados por engenheiros de áudio e produtores musicais, com análises de produtos em tempo real de usuários verificados.
- Avaliações do Psycle Modular Music Creation Studio - 2023: Avaliações e classificações de usuários do projeto de software de código aberto gratuito do Psycle Modular Music Creation Studio.
Conferências e Eventos
- Eventos Neuton.AI - Neuton.AI está hospedando vários eventos, incluindo um ARM Tech Talk sobre a escova de dentes inteligente de próxima geração e apresentando sua estrutura de rede neural exclusiva para a construção de modelos compactos com tamanho e precisão ideais.
- Eventos FUTURE DEAD ARTISTS - Fique atualizado sobre os próximos eventos de FUTURE DEAD ARTISTS, incluindo a classe de calouros do FDA 2023: FUTURE GENERATION Artists Talk.
- IA generativa, aplicativos e DevOps | AI/ML Talks - Pulumi apresenta uma palestra sobre IA generativa, aplicativos e DevOps na área de AI/ML Talks em 19 de outubro de 2023, em Seattle, WA.
- Mulheres em Tecnologia e Empreendedorismo - Happy Hour do Capítulo de Fort Lauderdale - Evento Happy Hour do Capítulo de Fort Lauderdale para Mulheres em Tecnologia e Empreendedorismo.
Slides e apresentações
- Geração algorítmica de música | PPT: Slides discutindo a geração algorítmica de música, disponíveis gratuitamente em PDF ou visualização online.
- Geração Musical com Aprendizado Profundo | PPT: Apresentação explorando a geração musical usando aprendizagem profunda, para download em PDF ou para visualização online.
- Geração de música de fundo de vídeo com transformador de música controlável: Slides discutindo a geração de música de fundo de vídeo usando um transformador de música controlável, disponível como PDF ou para visualização online.
- Geração automática de música usando aprendizado profundo | PDF: Slides explicando o processo de geração automática de música usando aprendizagem profunda, para download em PDF ou para visualização online.
- MuseGAN: Redes Adversariais Gerativas Sequenciais Multitrilha para Geração e Acompanhamento de Música Simbólica (AAAI 2018): Slides apresentando MuseGAN, uma estrutura para redes adversárias gerativas sequenciais multitrilha para geração e acompanhamento de música simbólica, disponível como PDF ou para visualização online.
- Composição musical automática com transformadores, janeiro de 2021 | PPT: Apresentação apresentando projetos em andamento sobre composição musical automática usando Transformers, para download em PDF ou para visualização online.
- Tutorial ISMIR 2019: Gerando música com redes adversárias generativas (GANs): Slides do tutorial ISMIR 2019 sobre geração de música com redes adversárias generativas (GANs), disponíveis em PDF ou para visualização online.
- PopMAG: geração de acompanhamento de música pop | PPT: Slides discutindo o PopMAG, uma estrutura para geração de acompanhamento de música pop, disponível em PDF ou para visualização online.
- Inteligência artificial e música | PPT: Slides explorando a aplicação de redes neurais recorrentes emparelhadas com LSTM para geração de música, para download em PDF ou para visualização online.
- Aprendizado de máquina para aplicações criativas de IA em música (novembro de 2018) | PPT: Apresentação sobre aprendizado de máquina para aplicações criativas de IA em música, disponível em PDF ou para visualização online.
Esta versão inicial do Awesome List foi gerada com a ajuda do Awesome List Generator. É um pacote Python de código aberto que usa o poder dos modelos GPT para selecionar e gerar automaticamente pontos de partida para listas de recursos relacionadas a um tópico específico.
