Como o artigo da ByteDance intitulado "MagicMix: Semantic Mixing with Diffusion Models" (https://arxiv.org/abs/2210.16056) não publicou seu código, implementei um notebook Jupyter aqui, para que você possa experimentá-lo.
O notebook implementa uma função chamada magic_mix
que indica o caminho para uma imagem e o prompt para o qual deve adaptar a imagem.
Parâmetros opcionais adicionais:
nu: controla o quanto o prompt deve sobrescrever a imagem original na fase inicial do layout. Se o seu resultado estiver muito próximo da imagem original, tente aumentar este parâmetro.
total_steps: número de etapas de inferência para difusão estável
guide_scale: este é o classificador de orientação gratuita. Quanto mais alto for definido, mais direcionará o resultado para o seu prompt.
Exemplos: