Red neuronal de alimentación directa

Las dos funciones de activación históricamente comunes son ambas sigmoides y se describen mediante

$${\displaystyle y(v_{i})=\tanh(v_{i})~~{\text{y}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}.}$$

La primera es una tangente hiperbólica que varía de -1 a 1, mientras que la otra es la función logística , que tiene una forma similar pero varía de 0 a 1. Aquí${\displaystyle y_{i}}$es el resultado de la${\displaystyle i}$-ésimo nodo (neurona) y${\displaystyle v_{i}}$es la suma ponderada de las conexiones de entrada. Se han propuesto funciones de activación alternativas, incluidas las funciones rectificadora y softplus . Entre las funciones de activación más especializadas se encuentran las funciones de base radial (utilizadas en redes de base radial , otra clase de modelos de redes neuronales supervisadas).

En los avances recientes del aprendizaje profundo , la unidad lineal rectificada (ReLU) se utiliza con mayor frecuencia como una de las posibles maneras de superar los problemas numéricos relacionados con las funciones sigmoides.

El aprendizaje se produce modificando los pesos de conexión tras procesar cada dato, en función de la magnitud del error en la salida en comparación con el resultado esperado. Este es un ejemplo de aprendizaje supervisado y se lleva a cabo mediante retropropagación.

Podemos representar el grado de error en un nodo de salida.${\displaystyle j}$en el${\displaystyle n}$-ésimo punto de datos (ejemplo de entrenamiento) por${\ Displaystyle e_ {j} (n) = d_ {j} (n) -y_ {j} (n)}$, dónde${\displaystyle d_{j}(n)}$es el valor objetivo deseado para${\displaystyle n}$-ésimo punto de datos en el nodo${\displaystyle j}$, y${\displaystyle y_{j}(n)}$es el valor producido en el nodo${\displaystyle j}$cuando el${\displaystyle n}$El -ésimo punto de datos se proporciona como entrada.

Los pesos de los nodos se pueden ajustar en función de correcciones que minimicen el error en la salida total para el${\displaystyle n}$-ésimo punto de datos, dado por

$${\displaystyle {\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{nodo de salida }}j}e_{j}^{2}(n).}$$

Utilizando el descenso de gradiente , el cambio en cada peso${\displaystyle w_{ij}}$es

$${\displaystyle \Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)}$$

dónde${\displaystyle y_{i}(n)}$es la salida de la neurona anterior${\displaystyle i}$, y${\displaystyle \eta }$es la tasa de aprendizaje , que se selecciona para asegurar que los pesos converjan rápidamente a una respuesta, sin oscilaciones. En la expresión anterior,${\displaystyle {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}}$denota la derivada parcial del error${\displaystyle {\mathcal {E}}(n)}$según la suma ponderada${\displaystyle v_{j}(n)}$de las conexiones de entrada de la neurona${\displaystyle i}$.

La derivada que se debe calcular depende del campo local inducido.${\displaystyle v_{j}}$, que a su vez varía. Es fácil demostrar que para un nodo de salida esta derivada se puede simplificar a

$${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))}$$

dónde${\displaystyle \phi ^{\prime }}$es la derivada de la función de activación descrita anteriormente, que en sí misma no varía. El análisis es más difícil para el cambio en los pesos de un nodo oculto, pero se puede demostrar que la derivada relevante es

$${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _ {k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n).}$$

Esto depende del cambio en los pesos de los${\displaystyle k}$Los nodos representan la capa de salida. Por lo tanto, para cambiar los pesos de la capa oculta, los pesos de la capa de salida cambian según la derivada de la función de activación, y así este algoritmo representa una retropropagación de la función de activación. ^{[ 10 ]}

• Hacia 1800, Legendre (1805) y Gauss (1795) crearon la red neuronal de alimentación directa más simple, que consta de una única capa de pesos con funciones de activación lineales. Fue entrenada mediante el método de mínimos cuadrados para minimizar el error cuadrático medio , también conocido como regresión lineal . Legendre y Gauss la utilizaron para la predicción del movimiento planetario a partir de datos de entrenamiento. ^{[ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ]}
• En 1943, Warren McCulloch y Walter Pitts propusieron la neurona artificial binaria como un modelo lógico de redes neuronales biológicas. ^{[ 16 ]}
• En 1958, Frank Rosenblatt propuso el modelo de perceptrón multicapa , que consta de una capa de entrada, una capa oculta con pesos aleatorios que no aprenden y una capa de salida con conexiones aprendibles. ^{[ 17 ]} RD Joseph (1960) ^{[ 18 ]} menciona un dispositivo similar al perceptrón aún anterior: ^{[ 13 ]} "Farley y Clark del Laboratorio Lincoln del MIT en realidad precedieron a Rosenblatt en el desarrollo de un dispositivo similar al perceptrón". Sin embargo, "abandonaron el tema".
• En 1960, Joseph ^{[ 18 ]} también analizó perceptrones multicapa con una capa oculta adaptativa. Rosenblatt (1962) ^{[ 19 ] : la sección 16} citó y adoptó estas ideas, reconociendo también el trabajo de HD Block y BW Knight. Desafortunadamente, estos primeros esfuerzos no dieron como resultado un algoritmo de aprendizaje funcional para unidades ocultas, es decir, aprendizaje profundo .
• En 1965, Alexey Grigorevich Ivakhnenko y Valentin Lapa publicaron el Método de Grupo para el Manejo de Datos , el primer algoritmo de aprendizaje profundo funcional, un método para entrenar redes neuronales de profundidad arbitraria. ^{[ 20 ] [ 21 ]} Se basa en el entrenamiento capa por capa a través del análisis de regresión. Las unidades ocultas superfluas se podan utilizando un conjunto de validación separado. Dado que las funciones de activación de los nodos son polinomios de Kolmogorov-Gabor, estas fueron también las primeras redes profundas con unidades multiplicativas o "compuertas". ^{[ 13 ]} Se utilizó para entrenar una red neuronal de ocho capas en 1971.
• En 1967, Shun'ichi Amari informó ^{[ 22 ]} sobre la primera red neuronal multicapa entrenada mediante descenso de gradiente estocástico , capaz de clasificar clases de patrones no linealmente separables. El estudiante de Amari, Saito, realizó los experimentos computacionales, utilizando una red de alimentación directa de cinco capas con dos capas de aprendizaje. ^{[ 13 ]}
• En 1970, Seppo Linnainmaa publicó la forma moderna de retropropagación en su tesis de maestría (1970). ^{[ 23 ] [ 24 ] [ 13 ]} GM Ostrovski et al. la republicaron en 1971. ^{[ 25 ] [ 26 ]} Paul Werbos aplicó la retropropagación a redes neuronales en 1982 ^{[ 7 ] [ 27 ]} (su tesis doctoral de 1974, reimpresa en un libro de 1994, ^{[ 28 ]} aún no describía el algoritmo ^{[ 26 ]} ). En 1986, David E. Rumelhart et al. popularizaron la retropropagación pero no citaron el trabajo original. ^{[ 29 ] [ 8 ]}
• En 2003, el interés en las redes de retropropagación resurgió debido a los éxitos del aprendizaje profundo aplicado al modelado del lenguaje por Yoshua Bengio y sus coautores. ^{[ 30 ]}

Si se utiliza un umbral, es decir, una función de activación lineal, la unidad de umbral lineal resultante se denomina perceptrón . (A menudo, el término se utiliza para referirse a una sola de estas unidades). Varias unidades no lineales paralelas pueden aproximar cualquier función continua de un intervalo compacto de los números reales al intervalo [−1,1], a pesar de la limitada capacidad computacional de una sola unidad con una función de umbral lineal. ^{[ 31 ]}

Los perceptrones se pueden entrenar mediante un algoritmo de aprendizaje sencillo que suele denominarse regla delta . Este algoritmo calcula los errores entre la salida calculada y los datos de salida de muestra, y utiliza esta información para ajustar los pesos, implementando así una forma de descenso de gradiente .

Un perceptrón multicapa ( MLP ) es un nombre inapropiado para una red neuronal artificial moderna de alimentación directa, que consta de neuronas totalmente conectadas (de ahí el sinónimo que a veces se usa de red totalmente conectada ( FCN )), a menudo con un tipo de función de activación no lineal, organizada en al menos tres capas, notable por ser capaz de distinguir datos que no son linealmente separables . ^{[ 32 ]}