Inception (arquitectura de aprendizaje profundo)

En 2014, un equipo de Google desarrolló la arquitectura GoogLeNet, una instancia de la cual ganó el ImageNet Large-Scale Visual Recognition Challenge 2014 (ILSVRC14). ^{[ 1 ] [ 3 ]}

El nombre proviene de LeNet de 1998, ya que tanto LeNet como GoogLeNet son CNN. También la llamaron "Inception" por el meme de internet "we need to go deeper" (Necesitamos ir más allá), una frase de la película Inception (2010) . ^{[ 1 ]} Debido a que posteriormente se lanzaron más versiones, la arquitectura original de Inception fue renombrada nuevamente como "Inception v1".

Los modelos y el código se publicaron bajo la licencia Apache 2.0 en GitHub. ^{[ 4 ]}

La arquitectura Inception v1 es una CNN profunda compuesta por 22 capas. La mayoría de estas capas eran "módulos Inception". El artículo original afirmaba que los módulos Inception son una "culminación lógica" de la red en la red ^{[ 5 ]} y (Arora et al, 2014). ^{[ 6 ]}

Dado que Inception v1 es una red profunda, sufrió el problema del gradiente evanescente . El equipo lo resolvió utilizando dos "clasificadores auxiliares", que son clasificadores softmax lineales insertados a 1/3 y 2/3 de profundidad dentro de la red, y la función de pérdida es una suma ponderada de los tres:$${\displaystyle L=0.3L_{aux,1}+0.3L_{aux,2}+L_{real}}$$

Estos se eliminaron una vez finalizado el entrenamiento. Esto se solucionó posteriormente con la arquitectura ResNet .

La arquitectura consta de tres partes apiladas una encima de la otra: ^{[ 2 ]}

• La etapa inicial (ingesta de datos): Las primeras capas convolucionales realizan un preprocesamiento de datos para reducir el tamaño de las imágenes.
• El cuerpo (procesamiento de datos): Los siguientes módulos de Inception realizan la mayor parte del procesamiento de datos.
• La cabeza (predicción): La capa final totalmente conectada y softmax producen una distribución de probabilidad para la clasificación de imágenes.

Esta estructura se utiliza en la mayoría de las arquitecturas de redes neuronales convolucionales modernas.

Inception v2 se publicó en 2015, en un artículo más famoso por proponer la normalización por lotes . ^{[ 7 ] [ 8 ]} Tenía 13,6 millones de parámetros.

Mejora la versión Inception v1 al añadir normalización por lotes y eliminar la eliminación de parámetros (dropout) y la normalización de respuesta local, que consideraron innecesarias al utilizar la normalización por lotes.

Inception v3 se lanzó en 2016. ^{[ 7 ] [ 9 ]} Mejora Inception v2 mediante el uso de convoluciones factorizadas.

Por ejemplo, una convolución simple de 5×5 se puede factorizar en una convolución de 3×3 apilada sobre otra de 3×3. Ambas tienen un campo receptivo de 5×5. El núcleo de convolución de 5×5 tiene 25 parámetros, en comparación con solo 18 en la versión factorizada. Por lo tanto, la convolución de 5×5 es estrictamente más potente que la versión factorizada. Sin embargo, esta potencia no es necesariamente necesaria. Empíricamente, el equipo de investigación descubrió que las convoluciones factorizadas son útiles.

También utiliza una forma de reducción de dimensionalidad mediante la concatenación de la salida de una capa convolucional y una capa de agrupación . Como ejemplo, un tensor de tamaño${\displaystyle 35\times 35\times 320}$puede reducirse mediante una convolución con paso 2 a${\displaystyle 17\times 17\times 320}$y mediante maxpooling con tamaño de pool${\displaystyle 2\times 2}$a${\displaystyle 17\times 17\times 320}$Estos luego se concatenan a${\displaystyle 17\times 17\times 640}$.

Además de esto, también eliminó el clasificador auxiliar más bajo durante el entrenamiento. Descubrieron que el clasificador auxiliar funcionaba como una forma de regularización .

También propusieron la regularización de suavizado de etiquetas en la clasificación. Para una imagen con etiqueta${\displaystyle c}$en lugar de hacer que el modelo prediga la distribución de probabilidad${\displaystyle \delta _{c}=(0,0,\dots ,0,\underbrace {1} _{c{\text{-th entry}}},0,\dots ,0)}$, hicieron que el modelo predijera la distribución suavizada${\displaystyle (1-\epsilon )\delta _{c}+\epsilon /K}$dónde${\displaystyle K}$es el número total de clases.

En 2017, el equipo lanzó Inception v4, Inception ResNet v1 e Inception ResNet v2. ^{[ 10 ]}

Inception v4 es una actualización incremental con convoluciones aún más factorizadas y otras complicaciones que, según se ha comprobado empíricamente, mejoran los resultados de las pruebas de rendimiento.

Inception ResNet v1 y v2 son modificaciones de Inception v4, donde se agregan conexiones residuales a cada módulo de Inception, inspiradas en la arquitectura ResNet . ^{[ 11 ]}

Xception ("Extreme Inception") se publicó en 2017. ^{[ 12 ]} Es una pila lineal de capas de convolución separables en profundidad con conexiones residuales. El diseño se propuso bajo la hipótesis de que en una CNN, las correlaciones entre canales y las correlaciones espaciales en los mapas de características pueden desacoplarse por completo .

El entrenamiento de cada red tardó 3 días en 60 GPU K80, o aproximadamente 0,5 petaFLOP-días. ^{[ 13 ]}