ambifusion

Ambifusión

Este es un repogador oficial para el documento "Generación Ambigram por un modelo de difusión". Este documento es aceptado en ICDAR 2023.

• Enlace en papel: Arxiv

【 ACTUALIZAR 】
2023/07/20: Ambifusion2 está abierto. Este método puede generar ambigramas con cualquier par de imágenes especificando dos indicaciones como un par.

Sobre el papel

tl; Dr

• Proponemos un método de generación de ambigram mediante un modelo de difusión.
• Puede generar varias imágenes Ambigram especificando un par de clases de cartas.
• Proponemos ambigramability , una medida objetiva de lo fácil que es generar ambigramas para cada par de letras.

Abstracto

Los ambigramas son diseños gráficos de letras que se pueden leer no solo desde la dirección original sino también desde una dirección rotada (especialmente con 180 grados). Diseñar ambigramas es difícil incluso para los expertos humanos porque a menudo es difícil mantener su doble legibilidad desde ambas direcciones. Este documento propone un modelo de generación ambigram. Como su módulo de generación, utilizamos un modelo de difusión, que recientemente se ha utilizado para generar imágenes fotográficas de alta calidad. Al especificar un par de clases de letras, como 'A' y 'B', el modelo propuesto genera varias imágenes ambigramas que se pueden leer como 'A' de la dirección original y 'B' desde una dirección rotada 180 grados. Los análisis cuantitativos y cualitativos de los resultados experimentales muestran que el modelo propuesto puede generar ambigramas de alta calidad y diversos. Además, definimos la ambigramabilidad, una medida objetiva de lo fácil que es generar ambigramas para cada par de letras. Por ejemplo, el par de 'A' y 'V' muestra una alta ambigramabilidad (es decir, es fácil generar sus ambigramas), y el par de 'd' y 'k' muestra una menor ambigramabilidad. La ambigramabilidad ofrece varios pistas de la generación de Ambigram no solo para las computadoras sino también para expertos humanos.

Ejemplos

Nuestro método propuesto genera ambigramas como los siguientes ejemplos.

El número entre paréntesis es el puntaje de ambigramabilidad (↑) del par de letras. Las tres filas superiores son pares de clase bastante fáciles (con puntajes de ambigramabilidad más altos), y las tres inferiores no lo son.

Configuración del entorno experimental

Probamos todos los códigos en Python: 3.8.10 . Puede descargar bibliotecas externas con pip como lo siguiente.

 pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113
pip install -r requirements.txt

También puede descargar pesos previamente capacitados. Reemplace todos los archivos de pseud-weights weight_name.txt con el archivo descargado de peso real.

• Enlace de pesas: Googledrive

Manifestación

La demostración de Gradio está disponible.

1. Inicie la aplicación web de Gradio como lo sigue.

 python demo.py

2. Acceda 127.0.0.1:11111 con su navegador web.

Hacer ambigramas

1. Establezca TestConfigs en ambigram_random_sample.py .
2. Ejecute el código de muestreo de lo siguiente.

 python ambigram_random_sample.py

Verifique la ambigramabilidad

1. Establezca TestConfigs en calc_ambigramability.py .
2. Ejecute el código de cálculo de lo siguiente.

 python calc_ambigramability.py

Personalizar

Entrenamiento modelo.

1. Establezca TrainConfigs en configs/trainargs.py . Si lo desea, puede cambiar DA_ambigram_configs.yaml (los detalles se mencionan en la Sec. 3.2 en el documento).
2. Ejecute el código de entrenamiento como lo sigue.

 ## Run on single gpu
python ambigram_train.py

## Run on multiple gpus
mpiexec -n [NUM_GPUs] python ambigram_train.py

Nota [1]: si desea generar ambigramas utilizando classifier-free guidance , debe entrenar tanto el modelo condicional como el modelo incondicional por separado.

Información en papel

 @article{shirakawa2023ambigram,
  title={Ambigram Generation by A Diffusion Model},
  author={Shirakawa, Takahiro and Uchida, Seiichi},
  booktitle={2023 17th international conference on document analysis and recognition (ICDAR)},
  year={2023}
}