Descarga RFNext - Descarga del código fuente RFNext

RFNext

Otro código fuente

g2l_breakfast_searched_dilation_config

Descargar

RF-Next: Búsqueda eficiente de campos receptivos para redes neuronales convolucionales

Un método general de búsqueda de campos receptivos para CNN. Si su red tiene Conv con un kernel mayor que 1, RF-Next puede mejorar aún más su modelo. La implementación oficial de:

Documento TPAMI2022: 'RF-Next: Búsqueda eficiente de campos receptivos para redes neuronales convolucionales'

Documento CVPR2021: 'Global2Local: búsqueda de estructura eficiente para la segmentación de acciones de vídeo'

Noticias

2022.12.18 Se lanza RF-Convnext con un RFConv fácil de usar. Puede reemplazar Conv con RFConv para admitir la búsqueda de tasa de dilatación para cualquier red.
2022.12.18 Se publica el código para la segmentación mm.
2022.12.18 RF-ConvNext para segmentación semántica a gran escala en ImageNet-S ImageNetSegModel.
2022.12.1 RF-Next ahora está en el repositorio oficial de MMCV, puede usar rf-next en todas las bases de código de MMlab.
2022.6.11 Se publica el código para mmcv y mmdetection. Se admiten ConvNext, PVT, Res2Net, HRNet.
2022.4.24 RF-Next ayuda a lograr el 1.er lugar (comentarios del equipo) en la eliminación de ruido de imágenes RAW de MegCup 2022. 2022.2.10 RF-Next mejora el modelo SOTA CNN ConvNeXt en múltiples tareas.
2021.1.1 RF-Next para segmentación de acciones de vídeo.

Introducción

Los campos receptivos temporales/espaciales de los modelos juegan un papel importante en las tareas secuenciales/espaciales. Los campos receptivos grandes facilitan las relaciones a largo plazo, mientras que los campos receptivos pequeños ayudan a capturar los detalles locales. Los métodos existentes construyen modelos con campos receptivos diseñados a mano en capas. ¿Podemos buscar eficazmente combinaciones de campos receptivos para reemplazar patrones diseñados a mano? Para responder a esta pregunta, proponemos encontrar mejores combinaciones de campos receptivos a través de un esquema de búsqueda de global a local. Nuestro esquema de búsqueda explota tanto la búsqueda global para encontrar combinaciones aproximadas como la búsqueda local para obtener más combinaciones refinadas de campos receptivos. La búsqueda global encuentra posibles combinaciones burdas distintas de los patrones diseñados por humanos. Además de la búsqueda global, proponemos un esquema de búsqueda local iterativo guiado por expectativas para refinar las combinaciones de manera efectiva. Nuestros modelos RF-Next, que conectan la búsqueda de campos receptivos a varios modelos, mejoran el rendimiento en muchas tareas, por ejemplo, segmentación de acciones temporales, detección de objetos, segmentación de instancias y síntesis de voz.

Aplicaciones y códigos

RF-Next admite muchas aplicaciones.

Detección de objetos y segmentación de instancias en MMDet
Segmentación semántica en MMSeg
MMCV admite RF-Siguiente
Método de segmentación de acciones G2L
RF-ConvNext para segmentación semántica a gran escala en ImageNet-S
Síntesis de voz

Citación

Si encuentra que este trabajo o código es útil en su investigación, cite:

 @article{gao2022rfnext,   
title={RF-Next: Efficient Receptive Field Search for Convolutional Neural Networks},   
author={Gao, Shanghua and Li, Zhong-Yu and Han, Qi and Cheng, Ming-Ming and Wang, Liang},   
journal=TPAMI,   
year={2022} }

@inproceedings{gao2021global2local,
  title={Global2Local: Efficient Structure Search for Video Action Segmentation},
  author={Gao, Shang-Hua and Han, Qi and Li, Zhong-Yu and Peng, Pai and Wang, Liang and Cheng, Ming-Ming},
  booktitle=CVPR,
  year={2021}
}