Retropropagación

En el aprendizaje automático , la retropropagación es un método de cálculo de gradiente que se utiliza comúnmente para entrenar una red neuronal en el cálculo de actualizaciones de parámetros.

Se trata de una aplicación eficiente de la regla de la cadena a las redes neuronales. La retropropagación calcula de forma eficiente el gradiente de la función de pérdida con respecto a los pesos de la red para un único ejemplo de entrada-salida. Para ello, propaga las derivadas hacia atrás, capa por capa, desde la capa de salida hasta la de entrada, evitando así cálculos redundantes de la regla de la cadena.

En rigor, el término retropropagación se refiere únicamente a un algoritmo para calcular eficientemente el gradiente, no a cómo se utiliza dicho gradiente; sin embargo, a menudo se emplea de forma imprecisa para referirse a todo el algoritmo de aprendizaje. Esto incluye modificar los parámetros del modelo en la dirección negativa del gradiente, como en el descenso de gradiente estocástico , o como paso intermedio en un optimizador más complejo, como la Estimación Adaptativa de Momentos . ^{[ 1 ]}

La retropropagación tuvo múltiples descubrimientos y descubrimientos parciales, con una historia y terminología complejas (véase §  Historia ). Otros nombres para la técnica incluyen "modo inverso de diferenciación automática " o " acumulación inversa ". ^{[ 2 ]}

La retropropagación calcula el gradiente en el espacio de pesos de una red neuronal de alimentación directa, con respecto a una función de pérdida . Denotemos:

• ${\displaystyle x}$: entrada (vector de características)
• ${\displaystyle y}$: salida objetivo

  Para la clasificación, la salida será un vector de probabilidades de clase (por ejemplo,${\displaystyle (0.1,0.7,0.2)}$y la salida objetivo es una clase específica, codificada por la variable one-hot / dummy (por ejemplo,${\displaystyle (0,1,0)}$).

• ${\displaystyle C}$: función de pérdida o "función de coste" ^{[ a ]}

  Para la clasificación, se suele utilizar la entropía cruzada (XC, pérdida logarítmica ), mientras que para la regresión se suele utilizar la pérdida de error cuadrático (SEL).

• ${\displaystyle L}$: el número de capas
• ${\displaystyle W^{l}=(w_{jk}^{l})}$: los pesos entre capas${\displaystyle l-1}$y${\displaystyle l}$, dónde${\displaystyle w_{jk}^{l}}$es el peso entre el${\displaystyle k}$-ésimo nodo en la capa${\displaystyle l-1}$y el${\displaystyle j}$-ésimo nodo en la capa${\displaystyle l}$^{[ b ]}
• ${\displaystyle f^{l}}$: funciones de activación en la capa${\displaystyle l}$

  Para la clasificación, la última capa suele ser la función logística para la clasificación binaria y softmax (softargmax) para la clasificación multiclase, mientras que para las capas ocultas tradicionalmente se utilizaba una función sigmoide (función logística u otras) en cada nodo (coordenada), pero hoy en día es más variada, siendo comunes las funciones rectificadoras ( rampa , ReLU ).

• ${\displaystyle a_{j}^{l}}$: activación de la${\displaystyle j}$-ésimo nodo en la capa${\displaystyle l}$.

En la derivación de la retropropagación, se utilizan otras cantidades intermedias introduciéndolas según sea necesario más adelante. Los términos de sesgo no se tratan de forma especial, ya que corresponden a un peso con una entrada fija de 1. Para la retropropagación, la función de pérdida y las funciones de activación específicas no importan siempre que estas y sus derivadas puedan evaluarse de manera eficiente. Las funciones de activación tradicionales incluyen sigmoide , tanh , ReLU , Swish , ^{[ 3 ]} Mish , ^{[ 4 ]} y muchas otras.

La red en su conjunto es una combinación de composición de funciones y multiplicación de matrices :

${\displaystyle g(x):=f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{1}(W^{1}x)\cdots ))}$

Para un conjunto de entrenamiento habrá un conjunto de pares de entrada-salida,${\displaystyle \left\{(x_{i},y_{i})\right\}}$Para cada par entrada-salida${\displaystyle (x_{i},y_{i})}$En el conjunto de entrenamiento, la pérdida del modelo en ese par es el costo de la diferencia entre la salida predicha.${\displaystyle g(x_{i})}$y el resultado objetivo${\displaystyle y_{i}}$:

${\displaystyle C(y_{i},g(x_{i}))}$

Nótese la diferencia: durante la evaluación del modelo, los pesos son fijos mientras que las entradas varían (y la salida objetivo puede ser desconocida), y la red finaliza con la capa de salida (no incluye la función de pérdida). Durante el entrenamiento del modelo, el par entrada-salida es fijo mientras que los pesos varían, y la red finaliza con la función de pérdida.

La retropropagación calcula el gradiente para un par fijo de entrada-salida.${\displaystyle (x_{i},y_{i})}$donde los pesos${\displaystyle w_{jk}^{l}}$puede variar. Cada componente individual del gradiente,${\displaystyle \partial C/\partial w_{jk}^{l},}$se puede calcular mediante la regla de la cadena; pero hacerlo por separado para cada peso es ineficiente. La retropropagación calcula eficientemente el gradiente evitando cálculos duplicados y no calculando valores intermedios innecesarios, calculando el gradiente de cada capa, específicamente el gradiente de la entrada ponderada de cada capa, denotado por${\displaystyle \delta ^{l}}$– de atrás hacia adelante.

De manera informal, el punto clave es que dado que la única forma en que un peso en${\displaystyle W^{l}}$La pérdida afecta a través de su efecto en la siguiente capa, y lo hace de forma lineal .${\displaystyle \delta ^{l}}$son los únicos datos que necesitas para calcular los gradientes de los pesos en la capa${\displaystyle l}$y luego se pueden calcular los gradientes de los pesos de la capa anterior mediante${\displaystyle \delta ^{l-1}}$y se repite recursivamente. Esto evita la ineficiencia de dos maneras. Primero, evita la duplicación porque al calcular el gradiente en la capa${\displaystyle l}$No es necesario recalcular todas las derivadas en capas posteriores.${\displaystyle l+1,l+2,\ldots }$En segundo lugar, evita cálculos intermedios innecesarios, ya que en cada etapa calcula directamente el gradiente de los pesos con respecto a la salida final (la pérdida), en lugar de calcular innecesariamente las derivadas de los valores de las capas ocultas con respecto a los cambios en los pesos.${\displaystyle \partial a_{j'}^{l'}/\partial w_{jk}^{l}}$.

La retropropagación se puede expresar para redes simples de alimentación directa en términos de multiplicación de matrices , o más generalmente en términos del grafo adjunto .

Para el caso básico de una red de alimentación directa, donde los nodos de cada capa están conectados solo a los nodos de la siguiente capa inmediata (sin saltarse ninguna capa), y hay una función de pérdida que calcula una pérdida escalar para la salida final, la retropropagación se puede entender simplemente como una multiplicación de matrices. ^{[ c ]} Esencialmente, la retropropagación evalúa la expresión para la derivada de la función de costo como un producto de derivadas entre cada capa de derecha a izquierda —"hacia atrás"—, siendo el gradiente de los pesos entre cada capa una simple modificación de los productos parciales (el "error propagado hacia atrás").

Dado un par de entrada-salida${\displaystyle (x,y)}$La pérdida es:

${\displaystyle C(y,f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{2}(W^{2}f^{1}(W^{1}x))\cdots )))}$

Para calcular esto, se comienza con la entrada${\displaystyle x}$y avanza; denotemos la entrada ponderada de cada capa oculta como${\displaystyle z^{l}}$y la salida de la capa oculta${\displaystyle l}$como la activación${\displaystyle a^{l}}$. Para la retropropagación, la activación${\displaystyle a^{l}}$así como los derivados${\displaystyle (f^{l})'}$(evaluado en${\displaystyle z^{l}}$) debe almacenarse en caché para su uso durante la pasada hacia atrás.

La derivada de la pérdida en términos de las entradas viene dada por la regla de la cadena; tenga en cuenta que cada término es una derivada total , evaluada en el valor de la red (en cada nodo) en la entrada.${\displaystyle x}$:

${\displaystyle {\frac {dC}{da^{L}}}\cdot {\frac {da^{L}}{dz^{L}}}\cdot {\frac {dz^{L}}{da^{L-1}}}\cdot {\frac {da^{L-1}}{dz^{L-1}}}\cdot {\frac {dz^{L-1}}{da^{L-2}}}\cdot \ldots \cdot {\frac {da^{1}}{dz^{1}}}\cdot {\frac {\partial z^{1}}{\partial x}},}$

dónde${\displaystyle {\frac {da^{L}}{dz^{L}}}}$es una matriz diagonal .

Estos términos son: la derivada de la función de pérdida; ^{[ d ]} las derivadas de las funciones de activación; ^{[ e ]} y las matrices de pesos: ^{[ f ]}

${\displaystyle {\frac {dC}{da^{L}}}\circ (f^{L})'\cdot W^{L}\circ (f^{L-1})'\cdot W^{L-1}\circ \cdots \circ (f^{1})'\cdot W^{1}.}$

El gradiente${\displaystyle \nabla }$es la transpuesta de la derivada de la salida en términos de la entrada, por lo que las matrices se transponen y el orden de la multiplicación se invierte, pero las entradas son las mismas:

${\displaystyle \nabla _{x}C=(W^{1})^{T}\cdot (f^{1})'\circ \ldots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.}$

La retropropagación consiste esencialmente en evaluar esta expresión de derecha a izquierda (o, equivalentemente, multiplicar la expresión anterior por la derivada de izquierda a derecha), calculando el gradiente en cada capa del proceso; hay un paso adicional, porque el gradiente de los pesos no es solo una subexpresión: hay una multiplicación extra.

Introduciendo la cantidad auxiliar${\displaystyle \delta ^{l}}$para los productos parciales (multiplicando de derecha a izquierda), interpretado como el "error en el nivel${\displaystyle l}$" y definido como el gradiente de los valores de entrada en el nivel${\displaystyle l}$:

${\displaystyle \delta ^{l}:=(f^{l})'\circ (W^{l+1})^{T}\cdot (f^{l+1})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.}$

Tenga en cuenta que${\displaystyle \delta ^{l}}$es un vector, de longitud igual al número de nodos en el nivel${\displaystyle l}$; cada componente se interpreta como el "costo atribuible a (el valor de) ese nodo".

El gradiente de los pesos en la capa${\displaystyle l}$es entonces:

${\displaystyle \nabla _{W^{l}}C=\delta ^{l}(a^{l-1})^{T}.}$

El factor de${\displaystyle a^{l-1}}$es porque los pesos${\displaystyle W^{l}}$entre nivel${\displaystyle l-1}$y${\displaystyle l}$nivel de afectación${\displaystyle l}$proporcionalmente a las entradas (activaciones): las entradas son fijas, los pesos varían.

El${\displaystyle \delta ^{l}}$se puede calcular fácilmente de forma recursiva, yendo de derecha a izquierda, como:

${\displaystyle \delta ^{l-1}:=(f^{l-1})'\circ (W^{l})^{T}\cdot \delta ^{l}.}$

De este modo, los gradientes de los pesos se pueden calcular utilizando unas pocas multiplicaciones de matrices para cada nivel; esto es la retropropagación.

En comparación con el cálculo ingenuo hacia adelante (utilizando el${\displaystyle \delta ^{l}}$(a modo de ejemplo):

${\displaystyle {\begin{aligned}\delta ^{1}&=(f^{1})'\circ (W^{2})^{T}\cdot (f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{2}&=(f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\&\vdots \\\delta ^{L-1}&=(f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{L}&=(f^{L})'\circ \nabla _{a^{L}}C,\end{aligned}}}$

Existen dos diferencias clave con la retropropagación:

1. Computación${\displaystyle \delta ^{l-1}}$en términos de${\displaystyle \delta ^{l}}$evita la obvia duplicación de capas${\displaystyle l}$y más allá.
2. Multiplicando a partir de${\displaystyle \nabla _{a^{L}}C}$– propagar el error hacia atrás – significa que cada paso simplemente multiplica un vector (${\displaystyle \delta ^{l}}$) por las matrices de pesos${\displaystyle (W^{l})^{T}}$y derivados de activaciones${\displaystyle (f^{l-1})'}$Por el contrario, multiplicar hacia adelante, comenzando desde los cambios en una capa anterior, significa que cada multiplicación multiplica una matriz por una matriz . Esto es mucho más costoso y corresponde a rastrear cada posible ruta de un cambio en una capa.${\displaystyle l}$adelante a los cambios en la capa${\displaystyle l+2}$(para multiplicar${\displaystyle W^{l+1}}$por${\displaystyle W^{l+2}}$, con multiplicaciones adicionales para las derivadas de las activaciones), lo que calcula innecesariamente las cantidades intermedias de cómo los cambios de peso afectan los valores de los nodos ocultos.

Para gráficos más generales y otras variaciones avanzadas, la retropropagación puede entenderse en términos de diferenciación automática , donde la retropropagación es un caso especial de acumulación inversa (o "modo inverso"). ^{[ 2 ]}

The gradient descent method involves calculating the derivative of the loss function with respect to the weights of the network. This is normally done using backpropagation. Assuming one output neuron,^[h] the squared error function is

${\displaystyle E=L(t,y)}$

where

${\displaystyle L}$ is the loss for the output ${\displaystyle y}$ and target value ${\displaystyle t}$,

${\displaystyle t}$ is the target output for a training sample, and

${\displaystyle y}$ is the actual output of the output neuron.

In this section, the order of the weight indexes are reversed relative to the prior section: ${\displaystyle w_{ij}}$ is weight from the ${\displaystyle i}$th to the ${\displaystyle j}$th unit. ^[i] For each neuron ${\displaystyle j}$, its output ${\displaystyle o_{j}}$ is defined as

${\displaystyle o_{j}=\varphi ({\text{net}}_{j})=\varphi \left(\sum _{k=1}^{n}w_{kj}x_{k}\right),}$

where the activation function${\displaystyle \varphi }$ is non-linear and differentiable over the activation region (the ReLU is not differentiable at one point). A historically used activation function is the logistic function:

${\displaystyle \varphi (z)={\frac {1}{1+e^{-z}}}}$

which has a convenient derivative of:

${\displaystyle {\frac {d\varphi }{dz}}=\varphi (z)(1-\varphi (z))}$

The input ${\displaystyle {\text{net}}_{j}}$ to a neuron is the weighted sum of outputs ${\displaystyle o_{k}}$ of previous neurons. If the neuron is in the first layer after the input layer, the ${\displaystyle o_{k}}$ of the input layer are simply the inputs ${\displaystyle x_{k}}$ to the network. The number of input units to the neuron is ${\displaystyle n}$. The variable ${\displaystyle w_{kj}}$ denotes the weight between neuron ${\displaystyle k}$ of the previous layer and neuron ${\displaystyle j}$ of the current layer.

Finding the derivative of the error

Calculating the partial derivative of the error with respect to a weight ${\displaystyle w_{ij}}$ is done using the chain rule twice:

In the last factor of the right-hand side of the above, only one term in the sum ${\displaystyle {\text{net}}_{j}}$ depends on ${\displaystyle w_{ij}}$, so that

If the neuron is in the first layer after the input layer, ${\displaystyle o_{i}}$ is just ${\displaystyle x_{i}}$.

The derivative of the output of neuron ${\displaystyle j}$ with respect to its input is simply the partial derivative of the activation function:

which for the logistic activation function

${\displaystyle {\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial }{\partial {\text{net}}_{j}}}\varphi ({\text{net}}_{j})=\varphi ({\text{net}}_{j})(1-\varphi ({\text{net}}_{j}))=o_{j}(1-o_{j})}$

This is the reason why backpropagation requires that the activation function be differentiable. (Nevertheless, the ReLU activation function, which is non-differentiable at 0, has become quite popular, e.g. in AlexNet)

The first factor is straightforward to evaluate if the neuron is in the output layer, because then ${\displaystyle o_{j}=y}$ and

If half of the square error is used as loss function we can rewrite it as

${\displaystyle {\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}={\frac {\partial }{\partial y}}{\frac {1}{2}}(t-y)^{2}=y-t}$

However, if ${\displaystyle j}$se encuentra en una capa interna arbitraria de la red, encontrando la derivada${\displaystyle E}$con respecto a${\displaystyle o_{j}}$es menos obvio.

En vista de${\displaystyle E}$como una función cuyas entradas son todas neuronas${\displaystyle L=\{u,v,\dots ,w\}}$recibiendo información de la neurona${\displaystyle j}$,

${\displaystyle {\frac {\partial E(o_{j})}{\partial o_{j}}}={\frac {\partial E(\mathrm {net} _{u},{\text{net}}_{v},\dots ,\mathrm {net} _{w})}{\partial o_{j}}}}$

y tomando la derivada total con respecto a${\displaystyle o_{j}}$Se obtiene una expresión recursiva para la derivada:

Por lo tanto, la derivada con respecto a${\displaystyle o_{j}}$se puede calcular si todas las derivadas con respecto a las salidas${\displaystyle o_{\ell }}$de la siguiente capa – las más cercanas a la neurona de salida – son conocidas. [Nota: si alguna de las neuronas en el conjunto${\displaystyle L}$no estaban conectados a la neurona${\displaystyle j}$, serían independientes de${\displaystyle w_{ij}}$y la derivada parcial correspondiente bajo la suma se anularía a 0.]

Sustituyendo las ecuaciones 2 , 3, 4 y 5 en la ecuación 1 obtenemos:

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}o_{i}}$

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}=o_{i}\delta _{j}}$

con

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}{\frac {\partial L(t,o_{j})}{\partial o_{j}}}{\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell }){\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

si${\displaystyle \varphi }$es la función logística y el error es el error cuadrático:

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}(o_{j}-t_{j})o_{j}(1-o_{j})&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell })o_{j}(1-o_{j})&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

Para actualizar el peso${\displaystyle w_{ij}}$Al usar el descenso de gradiente, uno debe elegir una tasa de aprendizaje ,${\displaystyle \eta >0}$. El cambio de peso debe reflejar el impacto en${\displaystyle E}$de un aumento o disminución en${\displaystyle w_{ij}}$. Si${\displaystyle {\frac {\partial E}{\partial w_{ij}}}>0}$, un aumento en${\displaystyle w_{ij}}$aumentos${\displaystyle E}$; por el contrario, si${\displaystyle {\frac {\partial E}{\partial w_{ij}}}<0}$, un aumento en${\displaystyle w_{ij}}$disminuye${\displaystyle E}$. El nuevo${\displaystyle \Delta w_{ij}}$se suma al peso anterior, y el producto de la tasa de aprendizaje y el gradiente, multiplicado por${\displaystyle -1}$garantiza que${\displaystyle w_{ij}}$cambia de una manera que siempre disminuye${\displaystyle E}$En otras palabras, en la ecuación inmediatamente inferior,${\displaystyle -\eta {\frac {\partial E}{\partial w_{ij}}}}$siempre cambia${\displaystyle w_{ij}}$de tal manera que${\displaystyle E}$se ha reducido:

${\displaystyle \Delta w_{ij}=-\eta {\frac {\partial E}{\partial w_{ij}}}=-\eta o_{i}\delta _{j}}$

Utilizando una matriz hessiana de derivadas de segundo orden de la función de error, el algoritmo de Levenberg-Marquardt suele converger más rápido que el descenso de gradiente de primer orden, especialmente cuando la topología de la función de error es compleja. ^{[ 6 ] [ 7 ]} También puede encontrar soluciones con un número menor de nodos para los que otros métodos podrían no converger. ^{[ 7 ]} La matriz hessiana puede aproximarse mediante la matriz de información de Fisher . ^{[ 8 ]}

Como ejemplo, consideremos una red de alimentación directa simple. En el${\displaystyle l}$-ésima capa, tenemos$${\displaystyle x_{i}^{(l)},\quad a_{i}^{(l)}=f(x_{i}^{(l)}),\quad x_{i}^{(l+1)}=\sum _{j}W_{ij}a_{j}^{(l)}}$$dónde${\displaystyle x}$son las preactivaciones,${\displaystyle a}$son las activaciones, y${\displaystyle W}$es la matriz de pesos. Dada una función de pérdida${\displaystyle L}$, la retropropagación de primer orden establece que$${\displaystyle {\frac {\partial L}{\partial a_{j}^{(l)}}}=\sum _{j}W_{ij}{\frac {\partial L}{\partial x_{i}^{(l+1)}}},\quad {\frac {\partial L}{\partial x_{j}^{(l)}}}=f'(x_{j}^{(l)}){\frac {\partial L}{\partial a_{j}^{(l)}}}}$$y la retropropagación de segundo orden establece que$${\displaystyle {\frac {\partial ^{2}L}{\partial a_{j_{1}}^{(l)}\partial a_{j_{2}}^{(l)}}}=\sum _{j_{1}j_{2}}W_{i_{1}j_{1}}W_{i_{2}j_{2}}{\frac {\partial ^{2}L}{\partial x_{i_{1}}^{(l+1)}\partial x_{i_{2}}^{(l+1)}}},\quad {\frac {\partial ^{2}L}{\partial x_{j_{1}}^{(l)}\partial x_{j_{2}}^{(l)}}}=f'(x_{j_{1}}^{(l)})f'(x_{j_{2}}^{(l)}){\frac {\partial ^{2}L}{\partial a_{j_{1}}^{(l)}\partial a_{j_{2}}^{(l)}}}+\delta _{j_{1}j_{2}}f''(x_{j_{1}}^{(l)}){\frac {\partial L}{\partial a_{j_{1}}^{(l)}}}}$$dónde${\displaystyle \delta }$es el símbolo delta de Dirac .

Las derivadas de orden arbitrario en grafos computacionales arbitrarios se pueden calcular mediante retropropagación, pero con expresiones más complejas para órdenes superiores.

La función de pérdida asigna valores a una o más variables, convirtiéndolos en un número real que representa intuitivamente un "costo" asociado a dichos valores. En la retropropagación, la función de pérdida calcula la diferencia entre la salida de la red y su salida esperada, una vez que un ejemplo de entrenamiento se ha propagado a través de la red.

• El descenso de gradiente con retropropagación no garantiza encontrar el mínimo global de la función de error, sino solo un mínimo local; además, tiene dificultades para superar las mesetas en el paisaje de la función de error. Este problema, causado por la no convexidad de las funciones de error en las redes neuronales, se consideró durante mucho tiempo una desventaja importante, pero Yann LeCun et al. argumentan que, en muchos problemas prácticos, no lo es. ^{[ 10 ]}
• El aprendizaje por retropropagación no requiere la normalización de los vectores de entrada; sin embargo, la normalización podría mejorar el rendimiento. ^{[ 11 ]}
• La retropropagación requiere que se conozcan las derivadas de las funciones de activación en el momento del diseño de la red.

• Red neuronal artificial
• Circuito neuronal
• Interferencia catastrófica
• Aprendizaje en conjunto
• AdaBoost
• Sobreajuste
• Retropropagación neuronal
• Retropropagación a través del tiempo
• Retropropagación a través de la estructura
• Aprendizaje de tres factores

• Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). "6.5 Back-Propagation and Other Differentiation Algorithms". Deep Learning. MIT Press. pp. 200–220. ISBN 978-0-262-03561-3.
• Nielsen, Michael A. (2015). "How the backpropagation algorithm works". Neural Networks and Deep Learning. Determination Press.
• McCaffrey, James (October 2012). "Neural Network Back-Propagation for Programmers". MSDN Magazine.
• Rojas, Raúl (1996). "The Backpropagation Algorithm"(PDF). Neural Networks: A Systematic Introduction. Berlin: Springer. ISBN 3-540-60505-3.

• Backpropagation neural network tutorial at the Wikiversity
• Bernacki, Mariusz; Włodarczyk, Przemysław (2004). "Principles of training multi-layer neural network using backpropagation".
• Karpathy, Andrej (2016). "Lecture 4: Backpropagation, Neural Networks 1". CS231n. Stanford University. Archived from the original on 2021-12-12 – via YouTube.
• "¿Qué hace realmente la retropropagación?" . 3Blue1Brown . 3 de noviembre de 2017. Archivado del original el 12 de diciembre de 2021 – vía YouTube .
• Putta, Sudeep Raja (2022). "Otra derivación más de la retropropagación en forma matricial" .