Red Hopfield moderna

Las redes de Hopfield modernas ^{[ 1 ] [ 2 ]} (también conocidas como memorias asociativas densas ^{[ 3 ]} ) son generalizaciones de las redes de Hopfield clásicas que rompen la relación de escala lineal entre el número de características de entrada y el número de memorias almacenadas. Esto se logra introduciendo no linealidades más fuertes (ya sea en la función de energía o en las funciones de activación de las neuronas) que conducen a una capacidad de almacenamiento de memoria superlineal ^{[ 3 ]} (incluso exponencial ^{[ 4 ]} ) en función del número de neuronas de características. La red aún requiere un número suficiente de neuronas ocultas. ^{[ 5 ]}

La idea teórica clave detrás de las redes de Hopfield modernas es utilizar una función de energía y una regla de actualización que presenta un pico más pronunciado alrededor de las memorias almacenadas en el espacio de configuraciones neuronales en comparación con la red de Hopfield clásica. ^{[ 3 ]}

Las redes de Hopfield ^{[ 6 ] [ 7 ]} son ​​redes neuronales recurrentes con trayectorias dinámicas que convergen a estados atractores de punto fijo y se describen mediante una función de energía . El estado de cada neurona del modelo${\textstyle i}$se define mediante una variable dependiente del tiempo${\displaystyle V_{i}}$, que puede ser discreto o continuo. Un modelo completo describe matemáticamente cómo el estado futuro de actividad de cada neurona depende de la actividad presente o anterior conocida de todas las neuronas.

En el modelo original de Hopfield de memoria asociativa, ^{[ 6 ]} las variables eran binarias y la dinámica se describía mediante una actualización de una en una del estado de las neuronas. Una función de energía cuadrática en el${\displaystyle V_{i}}$Se definió, y la dinámica consistió en cambiar la actividad de cada neurona individual.${\displaystyle i}$solo si al hacerlo se reduce la energía total del sistema. Esta misma idea se extendió al caso de${\displaystyle V_{i}}$siendo una variable continua que representa la salida de la neurona${\displaystyle i}$, y${\displaystyle V_{i}}$siendo una función monótona de una corriente de entrada. La dinámica se expresó como un conjunto de ecuaciones diferenciales de primer orden para las cuales la "energía" del sistema siempre disminuía. ^{[ 7 ]} La energía en el caso continuo tiene un término que es cuadrático en el${\displaystyle V_{i}}$(como en el modelo binario), y un segundo término que depende de la función de ganancia ( función de activación de la neurona ). Si bien poseen muchas propiedades deseables de la memoria asociativa, ambos sistemas clásicos adolecen de una pequeña capacidad de almacenamiento de memoria, que aumenta linealmente con el número de características de entrada. ^{[ 6 ]}

Un ejemplo sencillo ^{[ 3 ]} de la red de Hopfield moderna se puede escribir en términos de variables binarias.${\displaystyle V_{i}}$que representan al activo${\displaystyle V_{i}=+1}$y inactivo${\displaystyle V_{i}=-1}$estado de la neurona modelo${\displaystyle i}$.$${\displaystyle E=-\sum \limits _{\mu =1}^{N_{\text{mem}}}F{\Big (}\sum \limits _{i=1}^{N_{f}}\xi _{\mu i}V_{i}{\Big )}}$$En esta fórmula los pesos${\textstyle \xi _{\mu i}}$representar la matriz de vectores de memoria (índice${\displaystyle \mu =1...N_{\text{mem}}}$enumera diferentes recuerdos y el índice${\displaystyle i=1...N_{f}}$enumera el contenido de cada memoria correspondiente a la${\displaystyle i}$-ª característica neurona), y la función${\displaystyle F(x)}$es una función no lineal de rápido crecimiento. La regla de actualización para neuronas individuales (en el caso asíncrono) se puede escribir de la siguiente forma$${\displaystyle V_{i}^{(t+1)}=\operatorname {sign} {\bigg [}\sum \limits _{\mu =1}^{N_{\text{mem}}}{\bigg (}F{\Big (}\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}-F{\Big (}-\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}{\bigg )}{\bigg ]}}$$que establece que para calcular el estado actualizado del${\textstyle i}$-la neurona -la red compara dos energías: la energía de la red con la${\displaystyle i}$-ésima neurona en estado ON y la energía de la red con la${\displaystyle i}$-ésima neurona en estado APAGADO, dados los estados de las neuronas restantes. El estado actualizado de la${\displaystyle i}$La neurona -ésima selecciona el estado que tiene la energía más baja de las dos. ^{[ 3 ]}

En el caso límite cuando la función de energía no lineal es cuadrática${\displaystyle F(x)=x^{2}}$Estas ecuaciones se reducen a la función de energía familiar y a la regla de actualización para la red de Hopfield binaria clásica. ^{[ 6 ]}

La capacidad de almacenamiento de memoria de estas redes se puede calcular para patrones binarios aleatorios. Para la función de energía de potencia${\displaystyle F(x)=x^{n}}$El número máximo de recuerdos que se pueden almacenar y recuperar de esta red sin errores viene dado por ^{[ 3 ].}$${\displaystyle N_{\text{mem}}^{\max }\approx {\frac {1}{2(2n-3)!!}}{\frac {N_{f}^{n-1}}{\ln(N_{f})}}}$$Para una función de energía exponencial${\textstyle F(x)=e^{x}}$La capacidad de almacenamiento de memoria es exponencial en el número de neuronas de características ^{[ 4 ].}$${\displaystyle N_{\text{mem}}^{\max }\approx 2^{N_{f}/2}}$$

Las redes de Hopfield modernas o memorias asociativas densas se pueden comprender mejor en variables continuas y tiempo continuo. ^{[ 1 ] [ 5 ]} Considere la arquitectura de la red, mostrada en la Fig. 1, y las ecuaciones para la evolución del estado de las neuronas ^{[ 5 ]}

donde las corrientes de las neuronas características se denotan por${\textstyle x_{i}}$y las corrientes de las neuronas de memoria se denotan por${\displaystyle h_{\mu }}$(${\displaystyle h}$representa neuronas ocultas). No hay conexiones sinápticas entre las neuronas de características o las neuronas de memoria. Una matriz${\displaystyle \xi _{\mu i}}$indica la fuerza de las sinapsis de una neurona característica${\displaystyle i}$a la neurona de la memoria${\displaystyle \mu }$Se supone que las sinapsis son simétricas, de modo que el mismo valor caracteriza una sinapsis física diferente de la neurona de memoria.${\displaystyle \mu }$a la neurona de características${\displaystyle i}$. Las salidas de las neuronas de memoria y las neuronas de características se denotan por${\displaystyle f_{\mu }}$y${\displaystyle g_{i}}$, que son funciones no lineales de las corrientes correspondientes. En general, estas salidas pueden depender de las corrientes de todas las neuronas en esa capa, de modo que${\displaystyle f_{\mu }=f(\{h_{\mu }\})}$y${\textstyle g_{i}=g(\{x_{i}\})}$Es conveniente definir estas funciones de activación como derivadas de las funciones lagrangianas para los dos grupos de neuronas.

De esta forma, la forma específica de las ecuaciones para los estados de las neuronas queda completamente definida una vez que se especifican las funciones lagrangianas. Finalmente, las constantes de tiempo para los dos grupos de neuronas se denotan por${\displaystyle \tau _{f}}$y${\displaystyle \tau _{h}}$,${\displaystyle I_{i}}$es la corriente de entrada a la red que puede ser impulsada por los datos presentados.

Los sistemas generales de ecuaciones diferenciales no lineales pueden presentar comportamientos complejos que dependen de la elección de las no linealidades y las condiciones iniciales. Sin embargo, en el caso de las redes de Hopfield, esto no ocurre: las trayectorias dinámicas siempre convergen a un estado atractor de punto fijo. Esta propiedad se logra gracias a que estas ecuaciones están diseñadas específicamente para que tengan una función de energía subyacente ^{[ 5 ].}

Los términos agrupados entre corchetes representan una transformación de Legendre de la función lagrangiana con respecto a los estados de las neuronas. Si las matrices hessianas de las funciones lagrangianas son semidefinidas positivas, se garantiza que la función de energía disminuirá en la trayectoria dinámica ^{[ 5 ].}

Esta propiedad permite demostrar que el sistema de ecuaciones dinámicas que describe la evolución temporal de la actividad neuronal acabará alcanzando un estado atractor de punto fijo.

En ciertas situaciones se puede suponer que la dinámica de las neuronas ocultas se equilibra en una escala de tiempo mucho más rápida en comparación con las neuronas de características,${\textstyle \tau _{h}\ll \tau _{f}}$En este caso, la solución de estado estacionario de la segunda ecuación del sistema ( 1 ) puede usarse para expresar las corrientes de las unidades ocultas a través de las salidas de las neuronas de características. Esto permite reducir la teoría general ( 1 ) a una teoría efectiva solo para neuronas de características. Las reglas de actualización efectivas resultantes y las energías para varias elecciones comunes de las funciones lagrangianas se muestran en la Fig. 2. En el caso de la función lagrangiana log-suma-exponencial, la regla de actualización (si se aplica una vez) para los estados de las neuronas de características es el mecanismo de atención ^{[ 1 ]} comúnmente utilizado en muchos sistemas de IA modernos (ver Ref. ^{[ 5 ]} para la derivación de este resultado a partir de la formulación de tiempo continuo).

La formulación clásica de las redes de Hopfield continuas ^{[ 6 ]} puede entenderse ^{[ 5 ]} como un caso límite especial de las redes de Hopfield modernas con una capa oculta. Las redes de Hopfield continuas para neuronas con respuesta graduada se describen típicamente ^{[ 6 ]} mediante las ecuaciones dinámicas.

y la función de energía

dónde${\textstyle V_{i}=g(x_{i})}$, y${\displaystyle g^{-1}(z)}$es la inversa de la función de activación${\displaystyle g(x)}$Este modelo es un límite especial de la clase de modelos que se denomina modelos A, ^{[ 5 ]} con la siguiente elección de las funciones lagrangianas.

que, según la definición ( 2 ), conduce a las funciones de activación

Si integramos las neuronas ocultas, el sistema de ecuaciones ( 1 ) se reduce a las ecuaciones sobre las neuronas de características ( 5 ) con${\displaystyle T_{ij}=\sum \limits _{\mu =1}^{N_{h}}\xi _{\mu i}\xi _{\mu j}}$y la expresión general para la energía ( 3 ) se reduce a la energía efectiva

Si bien los dos primeros términos de la ecuación ( 6 ) son iguales a los de la ecuación ( 9 ), el tercer término parece superficialmente diferente. En la ecuación ( 9 ) es una transformada de Legendre del lagrangiano para las neuronas de características, mientras que en ( 6 ) el tercer término es una integral de la función de activación inversa. Sin embargo, estas dos expresiones son de hecho equivalentes, ya que las derivadas de una función y su transformada de Legendre son funciones inversas entre sí. La forma más sencilla de ver que estos dos términos son iguales explícitamente es diferenciar cada uno con respecto a${\displaystyle x_{i}}$. Los resultados de estas diferenciaciones para ambas expresiones son iguales a${\displaystyle x_{i}g(x_{i})'}$. Por lo tanto, las dos expresiones son iguales salvo una constante aditiva. Esto completa la demostración ^{[ 5 ]} de que la red de Hopfield clásica con estados continuos ^{[ 6 ]} es un caso límite especial de la red de Hopfield moderna ( 1 ) con energía ( 3 ).

Las redes neuronales biológicas presentan un alto grado de heterogeneidad en cuanto a los diferentes tipos de células. Esta sección describe un modelo matemático de una red de Hopfield moderna totalmente conectada, asumiendo un grado extremo de heterogeneidad: cada neurona es diferente. ^{[ 8 ]} Específicamente, se describe una función de energía y las ecuaciones dinámicas correspondientes, asumiendo que cada neurona tiene su propia función de activación y escala de tiempo cinética. Se asume que la red está totalmente conectada, de modo que cada neurona está conectada a todas las demás mediante una matriz simétrica de pesos.${\displaystyle W_{IJ}}$, índices${\displaystyle I}$y${\displaystyle J}$Enumerar las diferentes neuronas de la red, véase la figura 3. La forma más sencilla de formular matemáticamente este problema es definir la arquitectura mediante una función lagrangiana.${\displaystyle L(\{x_{I}\})}$que depende de las actividades de todas las neuronas en la red. La función de activación para cada neurona se define como una derivada parcial del lagrangiano con respecto a la actividad de esa neurona.

Desde la perspectiva biológica se puede pensar en${\displaystyle g_{I}}$como una salida axonal de la neurona${\displaystyle I}$En el caso más simple, cuando el lagrangiano es aditivo para diferentes neuronas, esta definición resulta en una activación que es una función no lineal de la actividad de esa neurona. Para lagrangianos no aditivos, esta función de activación puede depender de las actividades de un grupo de neuronas. Por ejemplo, puede contener normalización contrastiva (softmax) o divisiva. Las ecuaciones dinámicas que describen la evolución temporal de una neurona dada se presentan en ^{[ 8 ].}

Esta ecuación pertenece a la clase de modelos denominados modelos de tasa de disparo en neurociencia. Cada neurona${\displaystyle I}$recoge las salidas axónicas${\displaystyle g_{J}}$de todas las neuronas, las pondera con los coeficientes sinápticos${\displaystyle W_{IJ}}$y produce su propia actividad dependiente del tiempo${\displaystyle x_{I}}$La evolución temporal tiene una constante de tiempo.${\displaystyle \tau _{I}}$, que en general puede ser diferente para cada neurona. Esta red tiene una función de energía global ^{[ 8 ]}

donde los dos primeros términos representan la transformada de Legendre de la función lagrangiana con respecto a las corrientes de las neuronas.${\displaystyle x_{I}}$. La derivada temporal de esta función de energía se puede calcular en las trayectorias dinámicas que conducen a (ver ^{[ 8 ]} para más detalles)

El último signo de desigualdad se cumple siempre que la matriz${\displaystyle M_{IK}}$(o su parte simétrica) es semidefinida positiva. Si, además, la función de energía está acotada inferiormente, se garantiza que las ecuaciones dinámicas no lineales convergerán a un estado atractor de punto fijo. La ventaja de formular esta red en términos de las funciones lagrangianas es que permite experimentar fácilmente con diferentes elecciones de las funciones de activación y diferentes configuraciones arquitectónicas de las neuronas. Para todas esas elecciones flexibles, las condiciones de convergencia están determinadas por las propiedades de la matriz.${\displaystyle M_{IJ}}$y la existencia de un límite inferior para la función de energía.

Las neuronas se pueden organizar en capas de modo que cada neurona en una capa dada tenga la misma función de activación y la misma escala de tiempo dinámica. Si asumimos que no hay conexiones horizontales entre las neuronas dentro de la capa (conexiones laterales) y no hay conexiones de salto de capa, la red general totalmente conectada ( 11 ), ( 12 ) se reduce a la arquitectura que se muestra en la Fig. 4. Tiene${\displaystyle N_{\text{layer}}}$capas de neuronas conectadas recurrentemente con estados descritos por variables continuas${\displaystyle x_{i}^{A}}$y las funciones de activación${\displaystyle g_{i}^{A}}$, índice${\displaystyle A}$enumera las capas de la red y el índice${\displaystyle i}$Enumera las neuronas individuales en esa capa. Las funciones de activación pueden depender de la actividad de todas las neuronas en la capa. Cada capa puede tener un número diferente de neuronas.${\displaystyle N_{A}}$Estas neuronas están conectadas recurrentemente con las neuronas de las capas precedentes y subsiguientes. Las matrices de pesos que conectan las neuronas en las capas${\displaystyle A}$y${\displaystyle B}$se denotan por${\displaystyle \xi _{ij}^{(A,B)}}$(el orden de los índices superiores para los pesos es el mismo que el orden de los índices inferiores, en el ejemplo anterior esto significa que el índice${\displaystyle i}$enumera las neuronas en la capa${\displaystyle A}$y el índice${\displaystyle j}$enumera las neuronas en la capa${\displaystyle B}$). Los pesos de alimentación directa y los pesos de retroalimentación son iguales. Las ecuaciones dinámicas para los estados de las neuronas se pueden escribir como ^{[ 8 ]}

con condiciones de contorno

La principal diferencia de estas ecuaciones con respecto a las redes de alimentación directa convencionales radica en la presencia del segundo término, responsable de la retroalimentación de las capas superiores. Estas señales descendentes ayudan a las neuronas de las capas inferiores a decidir su respuesta a los estímulos presentados. Siguiendo la receta general, resulta conveniente introducir una función lagrangiana.${\displaystyle L^{A}(\{x_{i}^{A}\})}$para el${\displaystyle A}$-ésima capa oculta, que depende de las actividades de todas las neuronas en esa capa. ^{[ 8 ]} Las funciones de activación en esa capa se pueden definir como derivadas parciales del lagrangiano

Con estas definiciones, la función de energía (Lyapunov) viene dada por ^{[ 8 ].}

Si las funciones lagrangianas, o equivalentemente las funciones de activación, se eligen de tal manera que los hessianos para cada capa sean semidefinidos positivos y la energía total esté acotada inferiormente, se garantiza que este sistema convergerá a un estado atractor de punto fijo. La derivada temporal de esta función de energía viene dada por ^{[ 8 ].}

Por lo tanto, la red jerárquica en capas es, en efecto, una red atractora con una función de energía global. Esta red se describe mediante un conjunto jerárquico de pesos sinápticos que se pueden aprender para cada problema específico.