O que aconteceria se a IA fosse retreinada usando imagens geradas Recentemente, pesquisadores da Universidade de Stanford e da Universidade da Califórnia, em Berkeley, conduziram um experimento desse tipo e os resultados foram surpreendentes.
Os pesquisadores descobriram que quando os modelos de geração de imagens de IA foram treinados novamente para usar imagens que eles próprios geraram, os modelos produziram imagens altamente distorcidas. Pior ainda, essa distorção não se limita às dicas de texto usadas para retreinamento. Uma vez que o modelo é "contaminado", é difícil para o modelo se recuperar totalmente, mesmo que seja posteriormente retreinado apenas com imagens reais.
O ponto de partida para o experimento é um modelo de código aberto chamado Stable Diffusion (SD). Os pesquisadores primeiro selecionaram 70.000 imagens faciais de alta qualidade do conjunto de dados faciais FFHQ e as classificaram automaticamente. Eles então usaram essas imagens reais como entrada para gerar 900 imagens consistentes com as características de um grupo específico de pessoas por meio do modelo de Difusão Estável.
Em seguida, os pesquisadores usaram essas imagens geradas para um retreinamento iterativo do modelo. Eles descobriram que, independentemente da proporção de imagens autogeradas no conjunto de dados de retreinamento, o modelo eventualmente entrou em colapso e a qualidade das imagens geradas caiu drasticamente. Mesmo quando os dados de retreinamento contêm apenas 3% de imagens autogeradas, o fenômeno do colapso do modelo ainda existe.
Os resultados experimentais mostram que a versão básica do modelo de Difusão Estável gera imagens consistentes com dicas de texto e com alta qualidade visual. Mas à medida que o modelo foi retreinado iterativamente, as imagens geradas começaram a exibir inconsistências semânticas e distorções visuais. Os pesquisadores também descobriram que o colapso do modelo não só afetou a qualidade da imagem, mas também resultou na falta de diversidade nas imagens geradas.
Para verificar isso, os pesquisadores também realizaram experimentos controlados para tentar mitigar o impacto do colapso do modelo, ajustando o histograma de cores das imagens geradas e removendo imagens de baixa qualidade. Mas os resultados mostram que estas medidas não são eficazes na prevenção do colapso do modelo.
Os pesquisadores também exploraram se era possível que um modelo se recuperasse por meio de reciclagem após ser “contaminado”. Eles descobriram que, embora em alguns casos a qualidade das imagens resultantes tenha sido recuperada após múltiplas iterações de retreinamento, permaneceram sinais de colapso do modelo. Isto mostra que uma vez “contaminado” um modelo, os efeitos podem ser de longo prazo ou mesmo irreversíveis.
Este estudo revela uma questão importante: os sistemas de IA de geração de texto para imagem baseados em difusão atualmente populares são muito sensíveis à “contaminação” de dados. Essa “contaminação” pode ocorrer de forma não intencional, como pela extração indiscriminada de imagens de fontes on-line. Também poderia ser um ataque direcionado, como colocar deliberadamente dados “contaminados” em um site.
Diante desses desafios, os pesquisadores propuseram algumas soluções possíveis, como o uso de detectores de autenticidade de imagens para excluir imagens geradas por IA ou a adição de marcas d'água às imagens geradas. Embora imperfeitos, esses métodos combinados podem reduzir significativamente o risco de “contaminação” de dados.
Este estudo lembra-nos que o desenvolvimento da tecnologia de IA não é isento de riscos. Precisamos de ter mais cuidado com o conteúdo gerado pela IA para garantir que não tenham impactos negativos a longo prazo nos nossos modelos e conjuntos de dados. Pesquisas futuras precisam explorar mais a fundo como tornar os sistemas de IA mais resilientes a esse tipo de “contaminação” de dados ou desenvolver técnicas que possam acelerar a “cura” do modelo.