RFNext

RF-Next: эффективный поиск рецептивных полей для сверточных нейронных сетей

Общий метод поиска рецептивного поля для CNN. Если в вашей сети есть Conv с ядром больше 1, RF-Next может еще больше улучшить вашу модель. Официальная реализация:

Документ TPAMI2022: «RF-Next: эффективный поиск рецептивных полей для сверточных нейронных сетей»

Документ CVPR2021: «Global2Local: эффективный поиск структуры для сегментации видеодействий»

Новости

• 2022.12.18 Выпущен RF-Convnext с простым в использовании RFConv. Вы можете заменить Conv на RFConv для поддержки поиска скорости расширения для любых сетей.
• 2022.12.18 Выпущен код ммсегментации.
• 2022.12.18 RF-ConvNext для крупномасштабной семантической сегментации в ImageNet-S ImageNetSegModel.
• 2022.12.1 RF-Next теперь находится в официальном репозитории MMCV, вы можете использовать RF-next во всех кодовых базах MMlab.
• 2022.6.11 Выпущен код для mmcv и mmdetection. Поддерживаются ConvNext, PVT, Res2Net, HRNet.
• 2022.4.24 RF-Next помогает занять 1-е место (отзывы команды) в конкурсе MegCup 2022 по шумоподавлению изображений RAW. 2022.2.10 RF-Next улучшает модель SOTA CNN ConvNeXt для решения нескольких задач.
• 2021.1.1 RF-Next для сегментации видеодействий.

Введение

Временные/пространственные рецептивные поля моделей играют важную роль в последовательных/пространственных задачах. Большие восприимчивые поля способствуют долгосрочным отношениям, а малые восприимчивые поля помогают уловить местные детали. Существующие методы создают модели с вручную созданными рецептивными полями в слоях. Можем ли мы эффективно искать комбинации восприимчивых полей, чтобы заменить шаблоны, созданные вручную? Чтобы ответить на этот вопрос, мы предлагаем найти лучшие комбинации восприимчивых полей с помощью схемы поиска от глобального к локальному. Наша схема поиска использует как глобальный поиск для поиска грубых комбинаций, так и локальный поиск для дальнейшего получения уточненных комбинаций восприимчивых полей. Глобальный поиск находит возможные грубые комбинации, отличные от шаблонов, созданных человеком. Помимо глобального поиска, мы предлагаем итеративную схему локального поиска, основанную на ожиданиях, для эффективного уточнения комбинаций. Наши модели RF-Next, подключающие поиск рецептивных полей к различным моделям, повышают производительность при выполнении многих задач, например, сегментации временных действий, обнаружения объектов, сегментации экземпляров и синтеза речи.

Приложения и коды

RF-Next поддерживает множество приложений.

• Обнаружение объектов и сегментация экземпляров в MMDet
• Семантическая сегментация в MMSeg
• MMCV поддерживает RF-Next
• Метод сегментации действий G2L
• RF-ConvNext для крупномасштабной семантической сегментации на ImageNet-S
• Синтез речи

Цитирование

Если вы считаете, что эта работа или код полезны в вашем исследовании, укажите:

 @article{gao2022rfnext,   
title={RF-Next: Efficient Receptive Field Search for Convolutional Neural Networks},   
author={Gao, Shanghua and Li, Zhong-Yu and Han, Qi and Cheng, Ming-Ming and Wang, Liang},   
journal=TPAMI,   
year={2022} }

@inproceedings{gao2021global2local,
  title={Global2Local: Efficient Structure Search for Video Action Segmentation},
  author={Gao, Shang-Hua and Han, Qi and Li, Zhong-Yu and Peng, Pai and Wang, Liang and Cheng, Ming-Ming},
  booktitle=CVPR,
  year={2021}
}

Лицензия

Исходный код бесплатен только для использования в исследованиях и образовательных целях. Любое коммерческое использование должно сначала получить официальное разрешение.

Контакт

Если у вас есть какие-либо вопросы, пишите Шан-Хуа Гао по электронной почте ( shgao(at)live.com )