Normalización (aprendizaje automático)

${\displaystyle \gamma }$y${\displaystyle \beta }$permitir que la red aprenda a deshacer la normalización, si esto es beneficioso. ^{[ 3 ]} BatchNorm puede interpretarse como la eliminación de las transformaciones puramente lineales, de modo que sus capas se centren únicamente en modelar los aspectos no lineales de los datos, lo cual puede ser beneficioso, ya que una red neuronal siempre puede ampliarse con una capa de transformación lineal en la parte superior. ^{[ 4 ] [ 3 ]}

En la publicación original se afirma que BatchNorm funciona reduciendo el cambio de covarianza interna, aunque esta afirmación tiene tanto partidarios ^{[ 5 ] [ 6 ]} como detractores. ^{[ 7 ] [ 8 ]}

El artículo original ^{[ 2 ]} recomendaba usar BatchNorms solo después de una transformación lineal, no después de una activación no lineal. Es decir,${\displaystyle \phi (\mathrm {BN} (Wx+b))}$, no${\displaystyle \mathrm {BN} (\phi (Wx+b))}$Además, el sesgo${\displaystyle b}$no importa, ya que se cancelaría con la resta media posterior, por lo que es de la forma${\displaystyle \mathrm {BN} (Wx)}$. Es decir, si una BatchNorm está precedida por una transformación lineal, entonces el término de sesgo de esa transformación lineal se establece en cero. ^{[ 2 ]}

Para las redes neuronales convolucionales (CNN), BatchNorm debe preservar la invariancia de traslación de estos modelos, lo que significa que debe tratar todas las salidas del mismo núcleo como si fueran puntos de datos diferentes dentro de un lote. ^{[ 2 ]} Esto a veces se denomina BatchNorm espacial, o BatchNorm2D, o BatchNorm por canal. ^{[ 9 ] [ 10 ]}

Concretamente, supongamos que tenemos una capa convolucional bidimensional definida por:

$${\displaystyle x_{h,w,c}^{(l)}=\sum _{h',w',c'}K_{h'-h,w'-w,c,c'}^{(l)}x_{h',w',c'}^{(l-1)}+b_{c}^{(l)}}$$

dónde:

• ${\displaystyle x_{h,w,c}^{(l)}}$es la activación de la neurona en la posición${\displaystyle (h,w)}$en el${\displaystyle c}$-ésimo canal del${\displaystyle l}$-capa.
• ${\displaystyle K_{\Delta h,\Delta w,c,c'}^{(l)}}$es un tensor de núcleo. Cada canal${\displaystyle c}$corresponde a un núcleo${\displaystyle K_{h'-h,w'-w,c,c'}^{(l)}}$, con índices${\displaystyle \Delta h,\Delta w,c'}$.
• ${\displaystyle b_{c}^{(l)}}$es el término de sesgo para el${\displaystyle c}$-ésimo canal del${\displaystyle l}$-capa.

Para preservar la invariancia traslacional, BatchNorm trata todas las salidas del mismo kernel en el mismo lote como más datos en un lote. Es decir, se aplica una vez por kernel.${\displaystyle c}$(equivalentemente, una vez por canal)${\displaystyle c}$), no por activación${\displaystyle x_{h,w,c}^{(l+1)}}$:

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{(b),h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\end{aligned}}}$$

dónde${\displaystyle B}$es el tamaño del lote,${\displaystyle H}$es la altura del mapa de características y${\displaystyle W}$es el ancho del mapa de características.

Es decir, aunque solo hay${\displaystyle B}$puntos de datos en un lote, todos${\displaystyle BHW}$Las salidas del kernel en este lote se tratan por igual. ^{[ 2 ]}

Posteriormente, la normalización y la transformación lineal también se realizan por núcleo:

$${\displaystyle {\begin{aligned}{\hat {x}}_{(b),h,w,c}^{(l)}&={\frac {x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{(b),h,w,c}^{(l)}&=\gamma _{c}{\hat {x}}_{(b),h,w,c}^{(l)}+\beta _{c}\end{aligned}}}$$

Consideraciones similares se aplican a BatchNorm para convoluciones n -dimensionales.

A continuación se muestra una implementación en Python de BatchNorm para convoluciones 2D:

import numpy as npdef batchnorm_cnn ( x , gamma , beta , epsilon = 1e-9 ): # Calcula la media y la varianza para cada canal . media = np.media ( x , axis = ( 0 , 1 , 2 ) , keepdims = True ) varianza = np.var ( x , axis = ( 0 , 1 , 2 ) , keepdims = True )# Normaliza el tensor de entrada. x_hat = ( x - media ) / np . sqrt ( var + epsilon )# Escala y desplaza el tensor normalizado. y = gamma * x_hat + betaregresar y

Para redes neuronales recurrentes multicapa (RNN), BatchNorm generalmente se aplica solo para la parte de entrada a oculta , no para la parte oculta a oculta . ^{[ 11 ]} Sea el estado oculto de la${\displaystyle l}$-enésima capa en el tiempo${\displaystyle t}$ser${\displaystyle h_{t}^{(l)}}$. La RNN estándar, sin normalización, satisface$${\displaystyle h_{t}^{(l)}=\phi (W^{(l)}h_{t}^{l-1}+U^{(l)}h_{t-1}^{l}+b^{(l)})}$$dónde${\displaystyle W^{(l)},U^{(l)},b^{(l)}}$son pesos y sesgos, y${\displaystyle \phi }$es la función de activación. Al aplicar BatchNorm, esto se convierte en$${\displaystyle h_{t}^{(l)}=\phi (\mathrm {BN} (W^{(l)}h_{t}^{l-1})+U^{(l)}h_{t-1}^{l})}$$En BatchNorm para RNN, existen dos formas posibles de definir qué es un "lote": por fotograma y por secuencia . Concretamente, consideremos aplicar una RNN para procesar un lote de oraciones.${\displaystyle h_{b,t}^{(l)}}$ser el estado oculto de la${\displaystyle l}$-capa para el${\displaystyle t}$-ésimo token del${\displaystyle b}$-ésima oración de entrada. Entonces, BatchNorm por marco significa normalizar sobre${\displaystyle b}$:$${\displaystyle {\begin{aligned}\mu _{t}^{(l)}&={\frac {1}{B}}\sum _{b=1}^{B}h_{i,t}^{(l)}\\(\sigma _{t}^{(l)})^{2}&={\frac {1}{B}}\sum _{b=1}^{B}(h_{t}^{(l)}-\mu _{t}^{(l)})^{2}\end{aligned}}}$$y secuencialmente significa normalizar sobre${\displaystyle (b,t)}$:$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{BT}}\sum _{b=1}^{B}\sum _{t=1}^{T}h_{i,t}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{BT}}\sum _{b=1}^{B}\sum _{t=1}^{T}(h_{t}^{(l)}-\mu ^{(l)})^{2}\end{aligned}}}$$La normalización por lotes a nivel de fotograma es adecuada para tareas causales como la predicción del siguiente carácter, donde los fotogramas futuros no están disponibles, lo que obliga a la normalización por fotograma. La normalización por lotes a nivel de secuencia es adecuada para tareas como el reconocimiento de voz, donde las secuencias completas están disponibles, pero con longitudes variables. En un lote, las secuencias más cortas se rellenan con ceros para que coincidan con el tamaño de la secuencia más larga del lote. En tales configuraciones, no se recomienda la normalización a nivel de fotograma, ya que el número de fotogramas sin rellenar disminuye a lo largo del eje temporal, lo que da lugar a estimaciones estadísticas cada vez peores. ^{[ 11 ]}

También es posible aplicar BatchNorm a las LSTM . ^{[ 12 ]}

BatchNorm ha sido muy popular y se han intentado muchas mejoras. Algunos ejemplos incluyen: ^{[ 13 ]}

• Procesamiento por lotes fantasma: divida aleatoriamente un lote en sublotes y aplique BatchNorm por separado a cada uno;
• descomposición del peso en${\displaystyle \gamma }$y${\displaystyle \beta }$;
• y combinando BatchNorm con GroupNorm.

Un problema particular de BatchNorm es que, durante el entrenamiento, la media y la varianza se calculan sobre la marcha para cada lote (generalmente como una media móvil exponencial ), pero durante la inferencia, la media y la varianza se congelan a partir de las calculadas durante el entrenamiento. Esta disparidad entre entrenamiento y prueba degrada el rendimiento. La disparidad se puede reducir simulando la media móvil durante la inferencia: ^{[ 13 ] : Ec. 3}

$${\displaystyle {\begin{aligned}\mu &=\alpha E[x]+(1-\alpha )\mu _{x,{\text{ train}}}\\\sigma ^{2}&=(\alpha E[x]^{2}+(1-\alpha )\mu _{x^{2},{\text{ train}}})-\mu ^{2}\end{aligned}}}$$

dónde${\displaystyle \alpha }$es un hiperparámetro que debe optimizarse en un conjunto de validación.

Otros trabajos intentan eliminar BatchNorm, como por ejemplo ResNet sin normalizador. ^{[ 14 ]}

Por ejemplo, en CNN, LayerNorm se aplica a todas las activaciones de una capa. En la notación anterior, tenemos:

$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}x_{h,w,c}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}(x_{h,w,c}^{(l)}-\mu ^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu ^{(l)}}{\sqrt {(\sigma ^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma ^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta ^{(l)}\end{aligned}}}$$

Observe que el índice de lotes${\displaystyle b}$se elimina, mientras que el índice del canal${\displaystyle c}$se añade.

En las redes neuronales recurrentes ^{[ 15 ]} y ^los transformadores [ ^{16 ]} LayerNorm se aplica individualmente a cada paso de tiempo. Por ejemplo, si el vector oculto en una RNN en el paso de tiempo${\displaystyle t}$es${\displaystyle x^{(t)}\in \mathbb {R} ^{D}}$, dónde${\displaystyle D}$es la dimensión del vector oculto, entonces se aplicará LayerNorm con:

$${\displaystyle {\hat {x_{i}}}^{(t)}={\frac {x_{i}^{(t)}-\mu ^{(t)}}{\sqrt {(\sigma ^{(t)})^{2}+\epsilon }}},\quad y_{i}^{(t)}=\gamma _{i}{\hat {x_{i}}}^{(t)}+\beta _{i}}$$

dónde:

$${\displaystyle \mu ^{(t)}={\frac {1}{D}}\sum _{i=1}^{D}x_{i}^{(t)},\quad (\sigma ^{(t)})^{2}={\frac {1}{D}}\sum _{i=1}^{D}(x_{i}^{(t)}-\mu ^{(t)})^{2}}$$

Normalización de la capa de raíz cuadrática media ( RMSNorm ): ^{[ 17 ]}

$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\sqrt {{\frac {1}{D}}\sum _{j=1}^{D}x_{j}^{2}}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$

Esencialmente, es LayerNorm donde aplicamos${\displaystyle \mu ,\epsilon =0}$También se denomina normalización L2 . Es un caso especial de la normalización Lp o normalización de potencia .$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\left({\frac {1}{D}}\sum _{j=1}^{D}|x_{j}|^{p}\right)^{1/p}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$dónde${\displaystyle p>0}$es una constante.

La norma de capa adaptativa ( adaLN ) calcula la${\displaystyle \gamma ,\beta }$en un LayerNorm no de la activación de la capa en sí, sino de otros datos. Se propuso por primera vez para CNN, ^{[ 18 ]} y se ha utilizado eficazmente en transformadores de difusión (DiT). ^{[ 19 ]} Por ejemplo, en un DiT, la información de condicionamiento (como un vector de codificación de texto) es procesada por un perceptrón multicapa en${\displaystyle \gamma ,\beta }$, que luego se aplica en el módulo LayerNorm de un transformador.

La normalización de respuesta local ^{[ 22 ]} se utilizó en AlexNet . Se aplicó en una capa convolucional, justo después de una función de activación no lineal. Se definió de la siguiente manera:

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

dónde${\displaystyle a_{x,y}^{i}}$es la activación de la neurona en la ubicación${\displaystyle (x,y)}$y canal${\displaystyle i}$Es decir, cada píxel de un canal se ve suprimido por las activaciones del mismo píxel en sus canales adyacentes.

${\displaystyle k,n,\alpha ,\beta }$Los hiperparámetros se seleccionan utilizando un conjunto de validación.

Era una variante de la normalización de contraste local anterior . ^{[ 23 ]}

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}-{\bar {a}}_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

dónde${\displaystyle {\bar {a}}_{x,y}^{j}}$es la activación promedio en una pequeña ventana centrada en la ubicación${\displaystyle (x,y)}$y canal${\displaystyle i}$. Los hiperparámetros${\displaystyle k,n,\alpha ,\beta }$y el tamaño de la ventana pequeña se seleccionan utilizando un conjunto de validación.

Métodos similares se denominaron normalización divisiva , ya que dividen las activaciones por un número que depende de dichas activaciones. Originalmente se inspiraron en la biología, donde se utilizaron para explicar las respuestas no lineales de las neuronas corticales y el enmascaramiento no lineal en la percepción visual. ^{[ 24 ]}

Ambos tipos de normalización local fueron obviados por la normalización por lotes, que es una forma de normalización más global. ^{[ 25 ]}

La normalización de la respuesta reapareció en ConvNeXT-2 como normalización global de la respuesta . ^{[ 26 ]}

La normalización de grupo ( GroupNorm ) ^{[ 27 ]} es una técnica que también se utiliza exclusivamente para CNN. Se puede entender como la LayerNorm para CNN aplicada una vez por grupo de canales.

Supongamos que en una capa${\displaystyle l}$, hay canales${\displaystyle 1,2,\dots ,C}$, luego se divide en grupos${\displaystyle g_{1},g_{2},\dots ,g_{G}}$. A continuación, se aplica LayerNorm a cada grupo.

La normalización de instancia ( InstanceNorm ), o normalización de contraste , es una técnica desarrollada inicialmente para la transferencia de estilo neuronal y que también se utiliza exclusivamente para CNN. ^{[ 28 ]} Puede entenderse como la LayerNorm para CNN aplicada una vez por canal, o equivalentemente, como una normalización de grupo donde cada grupo consta de un solo canal:

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma _{c}^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta _{c}^{(l)}\end{aligned}}}$$

La normalización de instancia adaptativa ( AdaIN ) es una variante de la normalización de instancia, diseñada específicamente para la transferencia de estilo neuronal con CNN, en lugar de solo CNN en general. ^{[ 29 ]}

En el método AdaIN de transferencia de estilo, tomamos una CNN y dos imágenes de entrada, una para el contenido y otra para el estilo . Cada imagen se procesa a través de la misma CNN y en una capa determinada.${\displaystyle l}$, se aplica AdaIn.

Dejar${\displaystyle x^{(l),{\text{ content}}}}$ser la activación en la imagen de contenido, y${\displaystyle x^{(l),{\text{ style}}}}$sea ​​la activación en la imagen de estilo. Luego, AdaIn calcula primero la media y la varianza de las activaciones de la imagen de contenido.${\displaystyle x'^{(l)}}$, luego usa esos como el${\displaystyle \gamma ,\beta }$para InstanceNorm en${\displaystyle x^{(l),{\text{ content}}}}$. Tenga en cuenta que${\displaystyle x^{(l),{\text{ style}}}}$en sí mismo permanece sin cambios. Explícitamente, tenemos:

$${\displaystyle {\begin{aligned}y_{h,w,c}^{(l),{\text{ content}}}&=\sigma _{c}^{(l),{\text{ style}}}\left({\frac {x_{h,w,c}^{(l),{\text{ content}}}-\mu _{c}^{(l),{\text{ content}}}}{\sqrt {(\sigma _{c}^{(l),{\text{ content}}})^{2}+\epsilon }}}\right)+\mu _{c}^{(l),{\text{ style}}}\end{aligned}}}$$