GoogLeNet para classificação de imagens

Implementação do TensorFlow de Going Deeper with Convolutions (CVPR'15).

Este repositório contém exemplos de classificação de imagens naturais usando modelo pré-treinado, bem como treinamento de uma rede Inception do zero no conjunto de dados CIFAR-10 (93,64% de precisão no conjunto de testes). O modelo pré-treinado no CIFAR-10 pode ser baixado aqui.
Arquitetura do GoogLeNet do artigo:

Requisitos

Python 3.3+
TensorFlow 1.9+
Entorpecido
Cipião

Detalhes de implementação

O modelo GoogLeNet é definido em src/nets/googlenet.py .
O módulo Inception é definido em src/models/inception_module.py .
Um exemplo de classificação de imagens usando modelo pré-treinado está em examples/inception_pretrained.py .
Um exemplo de como treinar uma rede do zero no CIFAR-10 está em examples/inception_cifar.py .

Para testar o modelo pré-treinado

As imagens são redimensionadas para que o menor lado seja igual a 224 antes de serem inseridas no modelo. Este não é o mesmo que o artigo original, que é um conjunto de 7 modelos semelhantes usando 144 cortes de 224x224 por imagem para teste. Portanto, o desempenho não será tão bom quanto o papel original.

Para treinar do zero no CIFAR-10

Todas as camadas LRN são removidas das camadas convolucionais.
A normalização em lote e a ativação ReLU são usadas em todas as camadas convolucionais, incluindo as camadas na estrutura Inception, exceto a camada de saída.
Dois classificadores auxiliares são usados conforme mencionado no artigo, embora 512 em vez de 1024 unidades ocultas sejam usadas nas duas camadas totalmente conectadas para reduzir o cálculo. No entanto, descobri que os resultados são quase os mesmos no CIFAR-10 com e sem classificadores auxiliares.
Como as imagens 32 x 32 são reduzidas para 1 x 1 antes de serem inseridas em inception_5a , isso torna a estrutura multiescala das camadas iniciais menos útil e prejudica o desempenho (cerca de 80% de precisão). Para aproveitar ao máximo as estruturas multiescala, o avanço da primeira camada convolucional é reduzido para 1 e as duas primeiras camadas máximas de pooling são removidas. O mapa de recursos (32 x 32 x canais) terá quase o mesmo tamanho descrito na tabela 1 (28 x 28 x canais) no artigo antes de alimentar inception_3a . Também tentei apenas reduzir a passada ou remover apenas uma camada máxima de pooling. Mas descobri que a configuração atual oferece o melhor desempenho no conjunto de testes.
Durante o treinamento, o dropout com probabilidade de manter 0,4 é aplicado a duas camadas totalmente conectadas e a redução de peso com 5e-4 também é usada.
A rede é treinada através do otimizador Adam. O tamanho do lote é 128. A taxa de aprendizado inicial é 1e-3, decai para 1e-4 após 30 épocas e finalmente decai para 1e-5 após 50 épocas.
Cada canal de cores das imagens de entrada é subtraído pelo valor médio calculado do conjunto de treinamento.

Uso

Classificação ImageNet

Preparação

Baixe os parâmetros pré-treinados aqui. Isto é original daqui.
Caminho de configuração em examples/inception_pretrained.py : PRETRINED_PATH é o caminho para o modelo pré-treinado. DATA_PATH é o caminho para colocar as imagens de teste.

Correr

Vá para examples/ e coloque a imagem de teste na pasta DATA_PATH e execute o script:

 python inception_pretrained.py --im_name PART_OF_IMAGE_NAME

--im_name é a opção para nomes de imagens que você deseja testar. Se as imagens de teste forem todas arquivos png , podem ser png . A configuração padrão é .jpg .
A saída serão os 5 principais rótulos e probabilidades de classe.

Treine a rede no CIFAR-10

Preparação

Baixe o conjunto de dados CIFAR-10 aqui
Caminho de configuração em examples/inception_cifar.py : DATA_PATH é o caminho para colocar o CIFAR-10. SAVE_PATH é o caminho para salvar ou carregar o arquivo de resumo e o modelo treinado.

Treine o modelo

Vá para examples/ e execute o script:

 python inception_cifar.py --train 
  --lr LEARNING_RATE 
  --bsize BATCH_SIZE 
  --keep_prob KEEP_PROB_OF_DROPOUT 
  --maxepoch MAX_TRAINING_EPOCH

O resumo e o modelo serão salvos em SAVE_PATH . Um modelo pré-treinado em CIFAR-10 pode ser baixado aqui.

Avalie o modelo

Vá para examples/ e coloque o modelo pré-treinado em SAVE_PATH . Em seguida, execute o script:

 python inception_cifar.py --eval 
  --load PRE_TRAINED_MODEL_ID

O ID pré-treinado é o ID da época mostrado no nome do arquivo salvo modelado. O valor padrão é 99 , que indica aquele que carreguei.
A saída será a precisão do conjunto de treinamento e teste.

Resultados

Classificação de imagens usando modelo pré-treinado

As cinco principais previsões são mostradas. As probabilidades são mostradas mantendo duas casas decimais. Observe que o modelo pré-treinado é treinado no ImageNet.
O resultado do VGG19 para as mesmas imagens pode ser encontrado aqui. O pré-processamento de imagens para ambos os experimentos é o mesmo.

Fonte de dados	Imagem	Resultado
COCO		1: probabilidade: 1,00, rótulo: urso pardo, bruin, Ursus arctos 2: probabilidade: 0,00, rótulo: urso polar, urso polar 3: probabilidade: 0,00, rótulo: hiena, hiena 4: probabilidade: 0,00, rótulo: chow, chow chow 5: probabilidade: 0,00, rótulo: urso preto americano, urso preto
COCO		1: probabilidade: 0,79, rótulo: placa de rua 2: probabilidade: 0,06, rótulo: semáforo, semáforo, semáforo 3: probabilidade: 0,03, rótulo: parquímetro 4: probabilidade: 0,02, rótulo: caixa de correio, caixa de correio 5: probabilidade: 0,01, rótulo: balão
COCO		1: probabilidade: 0,94, rótulo: trólebus, trólebus 2: probabilidade: 0,05, rótulo: automóvel de passageiros, ônibus, carruagem 3: probabilidade: 0,00, rótulo: carro de bombeiros, caminhão de bombeiros 4: probabilidade: 0,00, rótulo: bonde, bonde, bonde, bonde 5: probabilidade: 0,00, rótulo: microônibus
COCO		1: probabilidade: 0,35, rótulo: burrito 2: probabilidade: 0,17, rótulo: potpie 3: probabilidade: 0,14, rótulo: purê de batata 4: probabilidade: 0,10, rótulo: placa 5: probabilidade: 0,03, rótulo: pizza, torta de pizza
ImageNet		1: probabilidade: 1,00, rótulo: peixinho dourado, Carassius auratus 2: probabilidade: 0,00, rótulo: beleza do rock, Holocanthus tricolor 3: probabilidade: 0,00, rótulo: baiacu, baiacu, baiacu, baiacu 4: probabilidade: 0,00, rótulo: tenca, Tinca tinca 5: probabilidade: 0,00, rótulo: peixe anêmona
Autocoleta		1: probabilidade: 0,32, rótulo: gato egípcio 2: probabilidade: 0,30, rótulo: malhado, gato malhado 3: probabilidade: 0,05, rótulo: gato tigre 4: probabilidade: 0,02, rótulo: mouse, mouse de computador 5: probabilidade: 0,02, rótulo: toalha de papel
Autocoleta		1: probabilidade: 1,00, rótulo: bonde, bonde, bonde, bonde, bonde 2: probabilidade: 0,00, rótulo: automóvel de passageiros, ônibus, carruagem 3: probabilidade: 0,00, rótulo: trólebus, trólebus, trólebus sem trilhas 4: probabilidade: 0,00, rótulo: locomotiva elétrica 5: probabilidade: 0,00, rótulo: vagão de carga