Hispanopedia Wiki
Articulo de referencia

Red Hopfield

Una red de Hopfield (o memoria asociativa ) es una forma de red neuronal recurrente , o sistema de vidrio de espín , que puede funcionar como una memoria direccionable por conte...

Hispanopedia WikiContenido en espanolLectura gratuita

Una red de Hopfield (o memoria asociativa ) es una forma de red neuronal recurrente , o sistema de vidrio de espín , que puede funcionar como una memoria direccionable por contenido . La red de Hopfield, que recibe su nombre de John Hopfield , consta de una sola capa de neuronas, donde cada neurona está conectada a todas las demás neuronas excepto a sí misma. Estas conexiones son bidireccionales y simétricas, lo que significa que el peso de la conexión de la neurona i a la neurona j es el mismo que el peso de la neurona j a la neurona i . Los patrones se recuperan asociativamente fijando ciertas entradas y la red evoluciona dinámicamente para minimizar una función de energía, hacia estados locales de energía mínima que corresponden a los patrones almacenados. Los patrones se aprenden asociativamente (o se "almacenan") mediante un algoritmo de aprendizaje hebbiano .

Una de las características clave de las redes de Hopfield es su capacidad para recuperar patrones completos a partir de entradas parciales o ruidosas, lo que las hace robustas ante datos incompletos o corruptos. Su conexión con la mecánica estadística, las redes recurrentes y la psicología cognitiva humana ha propiciado su aplicación en diversos campos, como la física , la psicología , la neurociencia y la teoría y práctica del aprendizaje automático. Debido a sus neuronas binarias (±1 o 0/1), su limitada escalabilidad y su incompatibilidad con el aprendizaje basado en gradientes, las redes clásicas de Hopfield rara vez se utilizan en el aprendizaje automático moderno.

Historia

Un origen de la memoria asociativa es la psicología cognitiva humana , específicamente la memoria asociativa . Frank Rosenblatt estudió los "perceptrones de bucle cerrado acoplados entre sí", que son redes de perceptrones de tres capas cuya capa intermedia contiene conexiones recurrentes que cambian según una regla de aprendizaje hebbiana . [ 1 ] : 73–75 [ 2 ] : Capítulo 19, 21

Otro modelo de memoria asociativa es aquel en el que la salida no regresa a la entrada. WK Taylor propuso un modelo de este tipo entrenado mediante aprendizaje hebbiano en 1956. [ 3 ] Karl Steinbuch , quien quería comprender el aprendizaje y se inspiró al observar a sus hijos aprender, [ 4 ] publicó la matriz de aprendizaje en 1961. [ 5 ] [ 6 ] Fue traducida al inglés en 1963. [ 7 ] Se realizó una investigación similar con el correlograma de DJ Willshaw et al. en 1969. [ 8 ] Teuvo Kohonen entrenó una memoria asociativa mediante descenso de gradiente en 1974. [ 9 ]

Una red de perceptrones de acoplamiento cruzado de bucle cerrado. [ 2 ] : 403, Fig. 47

Otro origen de la memoria asociativa fue la mecánica estadística . El modelo de Ising se publicó en la década de 1920 como un modelo de magnetismo; sin embargo, estudiaba el equilibrio térmico, que no cambia con el tiempo. Roy J. Glauber, en 1963, estudió el modelo de Ising evolucionando en el tiempo, como un proceso hacia el equilibrio térmico ( dinámica de Glauber ), añadiendo el componente temporal. [ 10 ] [ 11 ]

El segundo componente que se añadió fue la adaptación al estímulo. Este componente ha sido añadido independientemente por diferentes fuentes, incluyendo Rosenblatt (1960), [ 1 ] : 73–75 Kaoru Nakano (1971), [ 12 ] [ 13 ] y Shun'ichi Amari (1972). [ 14 ] Propusieron modificar los pesos de un modelo de Ising mediante la regla de aprendizaje hebbiana como un modelo de memoria asociativa. La misma idea fue publicada por William A. Little en 1974, [ 15 ] a quien Hopfield reconoció en su artículo de 1982.

Consulte Carpenter (1989) [ 16 ] y Cowan (1990) [ 17 ] para obtener una descripción técnica de algunos de estos primeros trabajos sobre memoria asociativa.

El modelo de vidrio de espín de Sherrington-Kirkpatrick, publicado en 1975, [ 18 ] es la red de Hopfield con inicialización aleatoria. Sherrington y Kirkpatrick descubrieron que es muy probable que la función de energía del modelo SK tenga muchos mínimos locales. En un artículo de 1982, Hopfield aplicó esta teoría recientemente desarrollada para estudiar la red de Hopfield con funciones de activación binarias. [ 19 ] En un artículo de 1984, la extendió a funciones de activación continuas. [ 20 ] Se convirtió en un modelo estándar para el estudio de redes neuronales mediante mecánica estadística. [ 21 ] [ 22 ]

Dimitry Krotov y Hopfield desarrollaron un avance importante en la capacidad de almacenamiento de memoria en 2016 [ 23 ] mediante un cambio en la dinámica de la red y la función de energía. Esta idea fue ampliada posteriormente por Demircigil y colaboradores en 2017. [ 24 ] La dinámica continua de los modelos de gran capacidad de memoria se desarrolló en una serie de artículos entre 2016 y 2020. [ 23 ] [ 25 ] [ 26 ]  Las redes de Hopfield de gran capacidad de almacenamiento de memoria ahora se denominan memorias asociativas densas o redes de Hopfield modernas .

En 2024, John J. Hopfield y Geoffrey E. Hinton fueron galardonados con el Premio Nobel de Física por sus contribuciones fundamentales al aprendizaje automático, como la red neuronal de Hopfield.

Estructura

Una red Hopfield con cuatro unidades

Las unidades en las redes de Hopfield son unidades de umbral binario, es decir, las unidades solo toman dos valores diferentes para sus estados, y el valor está determinado por si la entrada de la unidad supera o no su umbral.Ui{\displaystyle U_{i}}Las redes de Hopfield discretas describen las relaciones entre neuronas binarias (que se activan o no).1,2,…,i,j,…,norte{\displaystyle 1,2,\ldots ,i,j,\ldots ,N}. [ 19 ] En un momento determinado, el estado de la red neuronal se describe mediante un vectorV{\displaystyle V}, que registra qué neuronas se activan en una palabra binaria denorte{\displaystyle N}bits.

Las interaccioneswij{\displaystyle w_{ij}}Las interacciones entre neuronas tienen unidades que generalmente toman valores de 1 o -1, y esta convención se utilizará a lo largo de este artículo. Sin embargo, otra literatura podría usar unidades que toman valores de 0 y 1. Estas interacciones se "aprenden" a través de la ley de asociación de Hebb , de modo que, para un estado determinado Vs{\displaystyle V^{s}}y nodos distintosi,j{\displaystyle i,j}

wij=VisVjs{\displaystyle w_{ij}=V_{i}^{s}V_{j}^{s}}

perowii=0{\displaystyle w_{ii}=0}.

(Nótese que la regla de aprendizaje hebbiana toma la formawij=(2Vis−1)(2Vjs−1){\displaystyle w_{ij}=(2V_{i}^{s}-1)(2V_{j}^{s}-1)}cuando las unidades asumen valores en{0,1}{\displaystyle \{0,1\}}.)

Una vez que la red está entrenada,wij{\displaystyle w_{ij}}ya no evolucionan. Si un nuevo estado de neuronasVs′{\displaystyle V^{s'}}se introduce en la red neuronal, la red actúa sobre las neuronas de tal manera que

  • Vis′→1{\displaystyle V_{i}^{s'}\rightarrow 1}si∑jwijVjs′≥Ui{\displaystyle \sum _{j}w_{ij}V_{j}^{s'}\geq U_{i}}
  • Vis′→−1{\displaystyle V_{i}^{s'}\rightarrow -1}si∑jwijVjs′<Ui{\displaystyle \sum _{j}w_{ij}V_{j}^{s'}<U_{i}}

dóndeUi{\displaystyle U_{i}}es el valor umbral de la i-ésima neurona (a menudo se toma como 0). [ 27 ] De esta manera, las redes de Hopfield tienen la capacidad de "recordar" estados almacenados en la matriz de interacción, porque si un nuevo estadoVs′{\displaystyle V^{s'}}Está sujeta a la matriz de interacción, cada neurona cambiará hasta que coincida con el estado original.Vs{\displaystyle V^{s}}(Ver la sección de Actualizaciones a continuación).

Las conexiones en una red Hopfield suelen tener las siguientes restricciones:

  • wii=0,∀i{\displaystyle w_{ii}=0,\forall i}(ninguna unidad tiene conexión consigo misma)
  • wij=wji,∀i,j{\displaystyle w_{ij}=w_{ji},\forall i,j}(las conexiones son simétricas)

La restricción de que los pesos sean simétricos garantiza que la función de energía disminuya monótonamente siguiendo las reglas de activación. [ 28 ] Una red con pesos asimétricos puede exhibir algún comportamiento periódico o caótico; sin embargo, Hopfield descubrió que este comportamiento se limita a partes relativamente pequeñas del espacio de fases y no perjudica la capacidad de la red para actuar como un sistema de memoria asociativa direccionable por contenido.

Hopfield también modeló redes neuronales para valores continuos, en las que la salida eléctrica de cada neurona no es binaria sino algún valor entre 0 y 1. [ 20 ] Descubrió que este tipo de red también era capaz de almacenar y reproducir estados memorizados.

Nótese que cada par de unidades i y j en una red de Hopfield tiene una conexión que se describe mediante el peso de conectividad.wij{\displaystyle w_{ij}}En este sentido, la red de Hopfield puede describirse formalmente como un grafo completo no dirigido.GRAMO=⟨V,F⟩{\displaystyle G=\langle V,f\rangle }, dóndeV{\displaystyle V}es un conjunto de neuronas de McCulloch-Pitts yF:V2→R{\displaystyle f:V^{2}\rightarrow \mathbb {R} }es una función que vincula pares de unidades a un valor real, el peso de conectividad.

Actualizando

La actualización de una unidad (nodo en el grafo que simula la neurona artificial) en la red de Hopfield se realiza utilizando la siguiente regla:

si←{+1si ∑jwijsj≥θi,−1de lo contrario.{\displaystyle s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\text{if }}\sum _{j}{w_{ij}s_{j}}\geq \theta _{i},\\-1&{\text{otherwise.}}\end{array}}\right.}

dónde:

  • wij{\displaystyle w_{ij}}es la fuerza de la conexión peso de la unidad j a la unidad i (el peso de la conexión).
  • si{\displaystyle s_{i}}es el estado de la unidad i.
  • θi{\displaystyle \theta _{i}}es el umbral de la unidad i.

Las actualizaciones en la red Hopfield se pueden realizar de dos maneras diferentes:

  • Asíncrono : Solo se actualiza una unidad a la vez. Esta unidad puede elegirse al azar o se puede imponer un orden predefinido desde el principio.
  • Sincrónico : Todas las unidades se actualizan simultáneamente. Esto requiere un reloj central para el sistema con el fin de mantener la sincronización. Algunos consideran este método menos realista, debido a la ausencia de un reloj global observado que influya en sistemas biológicos o físicos análogos de interés.

Las neuronas se "atraen o repelen entre sí" en el espacio de estados.

El peso entre dos unidades tiene un impacto poderoso en los valores de las neuronas. Consideremos el peso de la conexión.wij{\displaystyle w_{ij}}entre dos neuronas i y j. Siwij>0{\displaystyle w_{ij}>0}La regla de actualización implica que:

  • cuandosj=1{\displaystyle s_{j}=1}, la contribución de j en la suma ponderada es positiva. Por lo tanto,si{\displaystyle s_{i}}es atraído por j hacia su valorsi=1{\displaystyle s_{i}=1}
  • cuandosj=−1{\displaystyle s_{j}=-1}, la contribución de j en la suma ponderada es negativa. Luego, nuevamente,si{\displaystyle s_{i}}es empujado por j hacia su valorsi=−1{\displaystyle s_{i}=-1}

Por lo tanto, los valores de las neuronas i y j convergerán si el peso entre ellas es positivo. Del mismo modo, divergirán si el peso es negativo.

Propiedades de convergencia de redes de Hopfield discretas y continuas

Bruck, en su artículo de 1990 [ 29 ]   , estudió redes discretas de Hopfield y demostró un teorema de convergencia generalizado basado en la conexión entre la dinámica de la red y los cortes en el grafo asociado . Esta generalización abarcó tanto la dinámica asíncrona como la síncrona y presentó demostraciones elementales basadas en algoritmos voraces para el corte máximo en grafos . Un artículo posterior [ 30 ] investigó más a fondo el comportamiento de cualquier neurona en redes de Hopfield de tiempo discreto y continuo cuando la función de energía correspondiente se minimiza durante un proceso de optimización. Bruck demostró [ 29 ] que la neurona j cambia su estado si y solo si disminuye aún más el siguiente pseudo-corte sesgado. La red discreta de Hopfield minimiza el siguiente pseudo-corte sesgado [ 30 ] para la matriz de pesos sinápticos de la red de Hopfield.

Jpagsmitúdo−dotút(k)=∑i∈do1(k)∑j∈do2(k)wij+∑j∈do1(k)θj{\displaystyle J_{pseudo-cut}(k)=\sum _{i\in C_{1}(k)}\sum _{j\in C_{2}(k)}w_{ij}+\sum _{j\in C_{1}(k)}{\theta _{j}}}

dóndedo1(k){\displaystyle C_{1}(k)}ydo2(k){\displaystyle C_{2}(k)}representa el conjunto de neuronas que son −1 y +1, respectivamente, en el tiempok{\displaystyle k}Para más detalles, véase el artículo reciente. [ 30 ]

La red de Hopfield de tiempo discreto siempre minimiza exactamente el siguiente pseudocorte [ 29 ] [ 30 ]

U(k)=∑i=1norte∑j=1nortewij(si(k)−sj(k))2+2∑j=1norteθjsj(k){\displaystyle U(k)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(s_{i}(k)-s_{j}(k))^{2}+2\sum _{j=1}^{N}\theta _{j}s_{j}(k)}

La red de Hopfield de tiempo continuo siempre minimiza una cota superior al siguiente corte ponderado [ 30 ].

V(t)=∑i=1norte∑j=1nortewij(F(si(t))−F(sj(t))2+2∑j=1norteθjF(sj(t)){\displaystyle V(t)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(f(s_{i}(t))-f(s_{j}(t))^{2}+2\sum _{j=1}^{N}\theta _{j}f(s_{j}(t))}

dóndeF(⋅){\displaystyle f(\cdot )}es una función sigmoide centrada en cero.

Por otro lado, la red compleja de Hopfield generalmente tiende a minimizar el llamado corte de sombra de la matriz de pesos compleja de la red. [ 31 ]

Energía

Paisaje energético de una red de Hopfield, que muestra el estado actual de la red (en ascenso), un estado atractor al que convergerá, un nivel mínimo de energía y una cuenca de atracción sombreada en verde. Nótese cómo la actualización de la red de Hopfield siempre muestra un descenso en la energía.

Las redes de Hopfield tienen un valor escalar asociado a cada estado de la red, denominado "energía", E , de la red, donde:

mi=−12∑i,jwijsisj+∑iθisi{\displaystyle E=-{\frac {1}{2}}\sum _{i,j}w_{ij}s_{i}s_{j}+\sum _{i}\theta _{i}s_{i}}

Esta cantidad se llama "energía" porque disminuye o permanece igual cuando se actualizan las unidades de la red. Además, bajo actualizaciones repetidas, la red eventualmente convergerá a un estado que es un mínimo local en la función de energía (que se considera una función de Lyapunov ). [ 19 ] Por lo tanto, si un estado es un mínimo local en la función de energía, es un estado estable para la red. Nótese que esta función de energía pertenece a una clase general de modelos en física bajo el nombre de modelos de Ising ; estos a su vez son un caso especial de redes de Markov , ya que la medida de probabilidad asociada , la medida de Gibbs , tiene la propiedad de Markov .

Red de Hopfield en optimización

Hopfield y Tank presentaron la aplicación de la red de Hopfield para resolver el problema clásico del viajante en 1985. [ 32 ] Desde entonces, la red de Hopfield se ha utilizado ampliamente para la optimización. La idea de usar la red de Hopfield en problemas de optimización es sencilla: si una función de costo con o sin restricciones se puede escribir en la forma de la función de energía de Hopfield E, entonces existe una red de Hopfield cuyos puntos de equilibrio representan soluciones al problema de optimización con o sin restricciones. Minimizar la función de energía de Hopfield minimiza tanto la función objetivo como las restricciones, ya que estas están "integradas" en los pesos sinápticos de la red. Aunque incorporar las restricciones de optimización en los pesos sinápticos de la mejor manera posible es una tarea compleja, muchos problemas de optimización difíciles con restricciones en diferentes disciplinas se han convertido a la función de energía de Hopfield: sistemas de memoria asociativa, conversión analógica-digital, problema de programación de talleres, asignación cuadrática y otros problemas NP-completos relacionados, problema de asignación de canales en redes inalámbricas, problema de enrutamiento de redes móviles ad hoc, restauración de imágenes, identificación de sistemas, optimización combinatoria, etc., por nombrar solo algunos. Sin embargo, si bien es posible convertir problemas de optimización difíciles a funciones de energía de Hopfield, esto no garantiza la convergencia a una solución (ni siquiera en tiempo exponencial). [ 33 ]

Inicialización y ejecución

La inicialización de las redes de Hopfield se realiza estableciendo los valores de las unidades al patrón inicial deseado. A continuación, se realizan actualizaciones repetidas hasta que la red converge a un patrón atractor. La convergencia suele estar asegurada, ya que Hopfield demostró que los atractores de este sistema dinámico no lineal son estables, no periódicos ni caóticos como en otros sistemas. Por lo tanto, en el contexto de las redes de Hopfield, un patrón atractor es un estado final estable, un patrón que no puede cambiar ningún valor durante las actualizaciones.

Capacitación

El entrenamiento de una red Hopfield implica reducir la energía de los estados que la red debe "recordar". Esto permite que la red funcione como un sistema de memoria direccionable por contenido; es decir, la red convergerá a un estado "recordado" si se le proporciona solo una parte del estado. La red puede utilizarse para recuperarse de una entrada distorsionada y alcanzar el estado entrenado más similar a dicha entrada. Esto se denomina memoria asociativa, ya que recupera recuerdos en función de la similitud. Por ejemplo, si entrenamos una red Hopfield con cinco unidades de modo que el estado (1, −1, 1, −1, 1) sea un mínimo de energía, y le proporcionamos a la red el estado (1, −1, −1, −1, 1), convergerá a (1, −1, 1, −1, 1). Por lo tanto, la red está correctamente entrenada cuando la energía de los estados que debe recordar son mínimos locales. Cabe destacar que, a diferencia del entrenamiento con perceptrón , los umbrales de las neuronas nunca se actualizan.

Reglas de aprendizaje

Existen diversas reglas de aprendizaje que se pueden utilizar para almacenar información en la memoria de la red de Hopfield. Es deseable que una regla de aprendizaje posea las dos propiedades siguientes:

  • Local : Una regla de aprendizaje es local si cada peso se actualiza utilizando la información disponible para las neuronas a ambos lados de la conexión asociada con ese peso en particular.
  • Incremental : Se pueden aprender nuevos patrones sin utilizar información de los patrones antiguos que también se han utilizado para el entrenamiento. Es decir, cuando se utiliza un nuevo patrón para el entrenamiento, los nuevos valores de los pesos solo dependen de los valores antiguos y del nuevo patrón. [ 34 ]

Estas propiedades son deseables, ya que una regla de aprendizaje que las satisfaga resulta más plausible desde el punto de vista biológico. Por ejemplo, dado que el cerebro humano aprende constantemente nuevos conceptos, se puede inferir que el aprendizaje humano es incremental. Un sistema de aprendizaje que no fuera incremental generalmente se entrenaría una sola vez, con una enorme cantidad de datos de entrenamiento.

Regla de aprendizaje hebbiana para redes de Hopfield

La teoría hebbiana fue introducida por Donald Hebb en 1949 para explicar el "aprendizaje asociativo", en el cual la activación simultánea de células neuronales produce aumentos pronunciados en la fuerza sináptica entre dichas células. [ 35 ] A menudo se resume como: "Las neuronas que se activan juntas se conectan entre sí. Las neuronas que se activan de forma descoordinada no logran conectarse".

La regla hebbiana es tanto local como incremental. Para las redes de Hopfield, se implementa de la siguiente manera al aprendernorte{\displaystyle n} patrones binarios:

wij=1norte∑μ=1norteϵiμϵjμ{\displaystyle w_{ij}={\frac {1}{n}}\sum _{\mu =1}^{n}\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }}

dóndeϵiμ{\displaystyle \epsilon _{i}^{\mu }}representa el bit i del patrónμ{\displaystyle \mu }.

Si los bits correspondientes a las neuronas i y j son iguales en patrónμ{\displaystyle \mu }, entonces el producto ϵiμϵjμ{\displaystyle \epsilon _{i}^{\mu }\epsilon _{j}^{\mu }}será positivo. Esto, a su vez, tendría un efecto positivo en el peso.wij{\displaystyle w_{ij}}y los valores de i y j tenderán a igualarse. Lo contrario ocurre si los bits correspondientes a las neuronas i y j son diferentes.

Regla de aprendizaje de Stokey

Esta regla fue introducida por Amos Storkey en 1997 y es tanto local como incremental. Storkey también demostró que una red de Hopfield entrenada con esta regla tiene mayor capacidad que una red correspondiente entrenada con la regla hebbiana. [ 36 ] Se dice que la matriz de pesos de una red neuronal atractora sigue la regla de aprendizaje de Storkey si cumple:

wijν=wijν−1+1norteϵiνϵjν−1norteϵiνhjiν−1norteϵjνhijν{\displaystyle w_{ij}^{\nu }=w_{ij}^{\nu -1}+{\frac {1}{n}}\epsilon _{i}^{\nu }\epsilon _{j}^{\nu }-{\frac {1}{n}}\epsilon _{i}^{\nu }h_{ji}^{\nu }-{\frac {1}{n}}\epsilon _{j}^{\nu }h_{ij}^{\nu }}

dóndehijν=∑k=1 : i≠k≠jnortewikν−1ϵkν{\displaystyle h_{ij}^{\nu }=\sum _{k=1~:~i\neq k\neq j}^{n}w_{ik}^{\nu -1}\epsilon _{k}^{\nu }}es una forma de campo local [ 34 ] en la neurona i.

Esta regla de aprendizaje es local, ya que las sinapsis solo consideran las neuronas adyacentes. Debido al efecto del campo local, la regla utiliza más información de los patrones y pesos que la regla hebbiana generalizada.

Patrones espurios

10 bits aleatorios invertidos inicialmente
15 bits aleatorios invertidos inicialmente (convergiendo al patrón espurio)
Dinámica de Hopfield de una red de 5x5=25 neuronas entrenadas para almacenar un único patrón "E" en negro.

Los patrones que la red utiliza para el entrenamiento (denominados estados de recuperación ) se convierten en atractores del sistema. Las actualizaciones repetidas eventualmente conducirían a la convergencia a uno de los estados de recuperación. Sin embargo, a veces la red convergerá a patrones espurios (diferentes de los patrones de entrenamiento). [ 37 ] De hecho, el número de patrones espurios puede ser exponencial en el número de patrones almacenados, incluso si los patrones almacenados son ortogonales. [ 38 ] La energía en estos patrones espurios también es un mínimo local. Para cada patrón almacenado x, la negación -x también es un patrón espurio.

Un estado espurio también puede ser una combinación lineal de un número impar de estados de recuperación. Por ejemplo, al usar 3 patrones.μ1,μ2,μ3{\displaystyle \mu _{1},\mu _{2},\mu _{3}}Se puede obtener el siguiente estado espurio:

ϵimetroiincógnita=±sgn⁡(±ϵiμ1±ϵiμ2±ϵiμ3){\displaystyle \epsilon _{i}^{\rm {mix}}=\pm \operatorname {sgn}(\pm \epsilon _{i}^{\mu _{1}}\pm \epsilon _{i}^{\mu _{2}}\pm \epsilon _{i}^{\mu _{3}})}

Los patrones espurios que tienen un número par de estados no pueden existir, ya que podrían sumar cero [ 37 ].

Capacidad

La capacidad de red del modelo de red de Hopfield está determinada por la cantidad de neuronas y conexiones dentro de una red dada. Por lo tanto, la cantidad de recuerdos que se pueden almacenar depende de las neuronas y las conexiones. Además, se demostró que la precisión de recuperación entre vectores y nodos era de 0,138 (aproximadamente 138 vectores se pueden recuperar del almacenamiento por cada 1000 nodos) (Hertz et al., 1991). Por lo tanto, es evidente que ocurrirán muchos errores si se intenta almacenar una gran cantidad de vectores. Cuando el modelo de Hopfield no recuerda el patrón correcto, es posible que haya ocurrido una intrusión, ya que los elementos semánticamente relacionados tienden a confundir al individuo, y ocurre la recuperación del patrón incorrecto. Por lo tanto, se muestra que el modelo de red de Hopfield confunde un elemento almacenado con otro al recuperarlo. Las recuperaciones perfectas y la alta capacidad, >0,14, se pueden cargar en la red mediante el método de aprendizaje Storkey; ETAM, [ 39 ] [ 40 ] Experimentos ETAM también en. [ 41 ] Posteriormente se idearon modelos adicionales inspirados en la red de Hopfield para aumentar el límite de almacenamiento y reducir la tasa de error de recuperación, algunos de los cuales eran capaces de aprendizaje de una sola vez . [ 42 ]

La capacidad de almacenamiento utilizando la regla de Hebb se puede expresar como:do≅norte2ln⁡norte{\displaystyle C\cong {\frac {n}{2\ln n}}}dóndenorte{\displaystyle n}es el número de neuronas en la red. [ 36 ]

La capacidad de almacenamiento utilizando la regla de Storcey se puede expresar como:do≅norte2ln⁡norte{\displaystyle C\cong {\frac {n}{\sqrt {2\ln n}}}}dóndenorte{\displaystyle n}es el número de neuronas en la red. [ 36 ]

memoria humana

La red de Hopfield es un modelo para el aprendizaje asociativo y la recuperación de información en humanos. [ 43 ] [ 44 ] Explica la memoria asociativa mediante la incorporación de vectores de memoria. Estos vectores pueden utilizarse ligeramente, lo que desencadena la recuperación del vector más similar en la red. Sin embargo, veremos que este proceso puede provocar intrusiones. En la memoria asociativa de la red de Hopfield, existen dos tipos de operaciones: autoasociación y heteroasociación. La primera se produce cuando un vector se asocia consigo mismo, y la segunda cuando dos vectores diferentes se asocian en el almacenamiento. Además, ambos tipos de operaciones pueden almacenarse en una única matriz de memoria, pero solo si dicha matriz de representación no corresponde a una u otra operación, sino a la combinación (autoasociativa y heteroasociativa) de ambas.

El modelo de red de Hopfield utiliza la misma regla de aprendizaje que la regla de aprendizaje de Hebb (1949) , que caracterizaba el aprendizaje como resultado del fortalecimiento de los pesos en casos de actividad neuronal.

Rizzuto y Kahana (2001) demostraron que el modelo de red neuronal puede explicar la repetición en la precisión del recuerdo mediante la incorporación de un algoritmo de aprendizaje probabilístico. Durante el proceso de recuperación, no se produce aprendizaje. Como resultado, los pesos de la red permanecen fijos, lo que demuestra que el modelo puede pasar de una etapa de aprendizaje a una de recuerdo. Al añadir la deriva contextual, pudieron demostrar el rápido olvido que se produce en un modelo de Hopfield durante una tarea de recuerdo con claves. Toda la red contribuye al cambio en la activación de cualquier nodo individual.

La regla dinámica de McCulloch y Pitts (1943), que describe el comportamiento de las neuronas, muestra cómo las activaciones de múltiples neuronas se corresponden con la frecuencia de disparo de una nueva neurona, y cómo los pesos de las neuronas refuerzan las conexiones sinápticas entre la neurona recién activada (y las que la activaron). Hopfield utilizó la regla dinámica de McCulloch-Pitts para demostrar la posibilidad de recuperación en la red neuronal de Hopfield. Sin embargo, lo hizo de forma repetitiva. Hopfield empleó una función de activación no lineal, en lugar de una lineal. Esto dio lugar a la regla dinámica de Hopfield, con la que pudo demostrar que, mediante la función de activación no lineal, la regla dinámica siempre modifica los valores del vector de estado en la dirección de uno de los patrones almacenados.

Memoria asociativa densa o red de Hopfield moderna

Las redes de Hopfield [ 19 ] [ 20 ] son ​​redes neuronales recurrentes con trayectorias dinámicas que convergen a estados atractores de punto fijo y se describen mediante una función de energía. El estado de cada neurona del modeloi{\textstyle i}se define mediante una variable dependiente del tiempoVi{\displaystyle V_{i}}, que puede ser discreto o continuo. Un modelo completo describe matemáticamente cómo el estado futuro de actividad de cada neurona depende de la actividad presente o anterior conocida de todas las neuronas.

En el modelo original de Hopfield de memoria asociativa, [ 19 ] las variables eran binarias y la dinámica se describía mediante una actualización de una en una del estado de las neuronas. Una función de energía cuadrática en elVi{\displaystyle V_{i}}Se definió, y la dinámica consistió en cambiar la actividad de cada neurona individual.i{\displaystyle i}solo si al hacerlo se reduce la energía total del sistema. Esta misma idea se extendió al caso deVi{\displaystyle V_{i}}siendo una variable continua que representa la salida de la neuronai{\displaystyle i}, yVi{\displaystyle V_{i}}siendo una función monótona de una corriente de entrada. La dinámica se expresó como un conjunto de ecuaciones diferenciales de primer orden para las cuales la "energía" del sistema siempre disminuía. [ 20 ]   La energía en el caso continuo tiene un término que es cuadrático en elVi{\displaystyle V_{i}}(como en el modelo binario), y un segundo término que depende de la función de ganancia (función de activación de la neurona). Si bien poseen muchas propiedades deseables de la memoria asociativa, ambos sistemas clásicos adolecen de una pequeña capacidad de almacenamiento de memoria, que aumenta linealmente con el número de características de entrada. [ 19 ] En contraste, al aumentar el número de parámetros en el modelo de modo que existan no solo interacciones por pares, sino también interacciones de orden superior entre las neuronas, se puede aumentar la capacidad de almacenamiento de memoria. [ 45 ] [ 46 ]

Las memorias asociativas densas [ 23 ] (también conocidas como redes de Hopfield modernas [ 25 ] ) son generalizaciones de las redes de Hopfield clásicas que rompen la relación de escala lineal entre el número de características de entrada y el número de memorias almacenadas. Esto se logra introduciendo no linealidades más fuertes (ya sea en la función de energía o en las funciones de activación de las neuronas) que conducen a una capacidad de almacenamiento de memoria superlineal [ 23 ] (incluso exponencial [ 24 ] ) en función del número de neuronas de características, lo que en efecto aumenta el orden de las interacciones entre las neuronas. [ 45 ] [ 46 ] La red aún requiere un número suficiente de neuronas ocultas. [ 26 ]

La idea teórica clave detrás de las redes de memoria asociativa densa es utilizar una función de energía y una regla de actualización que presenta un pico más pronunciado alrededor de las memorias almacenadas en el espacio de configuraciones neuronales en comparación con el modelo clásico, [ 23 ] como se demuestra cuando las interacciones de orden superior y los paisajes energéticos subsiguientes se modelan explícitamente. [ 46 ]

Variables discretas

Un ejemplo sencillo [ 23 ] de la red de Hopfield moderna se puede escribir en términos de variables binarias.Vi{\displaystyle V_{i}}que representan al activoVi=+1{\displaystyle V_{i}=+1}y inactivoVi=−1{\displaystyle V_{i}=-1}estado de la neurona modeloi{\displaystyle i}.mi=−∑μ=1nortememoriaF(∑i=1norteFξμiVi){\displaystyle E=-\sum \limits _{\mu =1}^{N_{\text{mem}}}F{\Big (}\sum \limits _{i=1}^{N_{f}}\xi _{\mu i}V_{i}{\Big )}}En esta fórmula los pesosξμi{\textstyle \xi _{\mu i}}representar la matriz de vectores de memoria (índiceμ=1...nortememoria{\displaystyle \mu =1...N_{\text{mem}}}enumera diferentes recuerdos y el índicei=1...norteF{\displaystyle i=1...N_{f}}enumera el contenido de cada memoria correspondiente a lai{\displaystyle i}-ª característica neurona), y la funciónF(incógnita){\displaystyle F(x)}es una función no lineal de rápido crecimiento. La regla de actualización para neuronas individuales (en el caso asíncrono) se puede escribir de la siguiente formaVi(t+1)=Sigramonorte[∑μ=1nortememoria(F(ξμi+∑j≠iξμjVj(t))−F(−ξμi+∑j≠iξμjVj(t)))]{\displaystyle V_{i}^{(t+1)}=Sign{\bigg [}\sum \limits _{\mu =1}^{N_{\text{mem}}}{\bigg (}F{\Big (}\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}-F{\Big (}-\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}{\bigg )}{\bigg ]}}que establece que para calcular el estado actualizado deli{\textstyle i}-la neurona -la red compara dos energías: la energía de la red con lai{\displaystyle i}-ésima neurona en estado ON y la energía de la red con lai{\displaystyle i}-ésima neurona en estado APAGADO, dados los estados de las neuronas restantes. El estado actualizado de lai{\displaystyle i}La neurona -ésima selecciona el estado que tiene la energía más baja de las dos. [ 23 ]

En el caso límite cuando la función de energía no lineal es cuadráticaF(incógnita)=incógnita2{\displaystyle F(x)=x^{2}}Estas ecuaciones se reducen a la función de energía familiar y a la regla de actualización para la red de Hopfield binaria clásica. [ 19 ]

La capacidad de almacenamiento de memoria de estas redes se puede calcular para patrones binarios aleatorios. Para la función de energía de potenciaF(incógnita)=incógnitanorte{\displaystyle F(x)=x^{n}}El número máximo de recuerdos que se pueden almacenar y recuperar de esta red sin errores viene dado por [ 23 ].nortememoriametroaincógnita≈12(2norte−3)¡¡norteFnorte−1ln⁡(norteF){\displaystyle N_{\text{mem}}^{max}\approx {\frac {1}{2(2n-3)!!}}{\frac {N_{f}^{n-1}}{\ln(N_{f})}}}Para una función de energía exponencialF(incógnita)=miincógnita{\textstyle F(x)=e^{x}}La capacidad de almacenamiento de memoria es exponencial en el número de neuronas de características [ 24 ].nortememoriametroaincógnita≈2norteF/2{\displaystyle N_{\text{mem}}^{max}\approx 2^{N_{f}/2}}

Figura 1: Un ejemplo de una red Hopfield moderna continua connorteF=5{\textstyle N_{f}=5} neuronas características ynortememoria=11{\displaystyle N_{\text{mem}}=11}Neuronas de memoria (ocultas) con conexiones sinápticas simétricas entre ellas.

Variables continuas

Las redes de Hopfield modernas o memorias asociativas densas se pueden comprender mejor en variables continuas y tiempo continuo. [ 25 ] [ 26 ] Considérese la arquitectura de la red, mostrada en la Fig. 1, y las ecuaciones para la evolución de los estados de la neurona [ 26 ]

donde las corrientes de las neuronas características se denotan porincógnitai{\textstyle x_{i}}y las corrientes de las neuronas de memoria se denotan porhμ{\displaystyle h_{\mu }}(h{\displaystyle h}representa neuronas ocultas). No hay conexiones sinápticas entre las neuronas de características o las neuronas de memoria. Una matrizξμi{\displaystyle \xi _{\mu i}}indica la fuerza de las sinapsis de una neurona característicai{\displaystyle i}a la neurona de la memoriaμ{\displaystyle \mu }Se supone que las sinapsis son simétricas, de modo que el mismo valor caracteriza una sinapsis física diferente de la neurona de memoria.μ{\displaystyle \mu }a la neurona de característicasi{\displaystyle i}. Las salidas de las neuronas de memoria y las neuronas de características se denotan porFμ{\displaystyle f_{\mu }}ygramoi{\displaystyle g_{i}}, que son funciones no lineales de las corrientes correspondientes. En general, estas salidas pueden depender de las corrientes de todas las neuronas en esa capa, de modo queFμ=F({hμ}){\displaystyle f_{\mu }=f(\{h_{\mu }\})}ygramoi=gramo({incógnitai}){\textstyle g_{i}=g(\{x_{i}\})}Es conveniente definir estas funciones de activación como derivadas de las funciones lagrangianas para los dos grupos de neuronas.

De esta forma, la forma específica de las ecuaciones para los estados de las neuronas queda completamente definida una vez que se especifican las funciones lagrangianas. Finalmente, las constantes de tiempo para los dos grupos de neuronas se denotan porτF{\displaystyle \tau _{f}}yτh{\displaystyle \tau _{h}},Ii{\displaystyle I_{i}}es la corriente de entrada a la red que puede ser impulsada por los datos presentados. 

Fig. 2: Teoría efectiva sobre las neuronas de características para varias elecciones comunes de las funciones lagrangianas. El modelo A se reduce a los modelos estudiados en [ 23 ] [ 24 ] dependiendo de la elección de la función de activación, el modelo B se reduce al modelo estudiado en, [ 25 ] el modelo C se reduce al modelo de. [ 26 ] F es una función " suficientemente suave . [ 23 ]

Los sistemas generales de ecuaciones diferenciales no lineales pueden presentar comportamientos complejos que dependen de la elección de las no linealidades y las condiciones iniciales. Sin embargo, en el caso de las redes de Hopfield, esto no ocurre: las trayectorias dinámicas siempre convergen a un estado atractor de punto fijo. Esta propiedad se logra gracias a que estas ecuaciones están diseñadas específicamente para que tengan una función de energía subyacente [ 26 ].

Los términos agrupados entre corchetes representan una transformación de Legendre de la función lagrangiana con respecto a los estados de las neuronas. Si las matrices hessianas de las funciones lagrangianas son semidefinidas positivas, se garantiza que la función de energía disminuirá en la trayectoria dinámica [ 26 ].

Esta propiedad permite demostrar que el sistema de ecuaciones dinámicas que describe la evolución temporal de la actividad neuronal acabará alcanzando un estado atractor de punto fijo.

En ciertas situaciones se puede suponer que la dinámica de las neuronas ocultas se equilibra en una escala de tiempo mucho más rápida en comparación con las neuronas de características,τh≪τF{\textstyle \tau _{h}\ll \tau _{f}}En este caso, la solución de estado estacionario de la segunda ecuación del sistema ( 1 ) puede usarse para expresar las corrientes de las unidades ocultas a través de las salidas de las neuronas de características. Esto permite reducir la teoría general ( 1 ) a una teoría efectiva solo para neuronas de características. Las reglas de actualización efectivas resultantes y las energías para varias elecciones comunes de las funciones lagrangianas se muestran en la Fig. 2. En el caso de la función lagrangiana log-suma-exponencial, la regla de actualización (si se aplica una vez) para los estados de las neuronas de características es el mecanismo de atención [ 25 ] comúnmente utilizado en muchos sistemas de IA modernos (ver Ref. [ 26 ] para la derivación de este resultado a partir de la formulación de tiempo continuo).

Relación con la red clásica de Hopfield con variables continuas

La formulación clásica de las redes de Hopfield continuas [ 20 ] puede entenderse [ 26 ] como un caso límite especial de las redes de Hopfield modernas con una capa oculta. Las redes de Hopfield continuas para neuronas con respuesta graduada se describen típicamente [ 20 ] mediante las ecuaciones dinámicas.

y la función de energía

dóndeVi=gramo(incógnitai){\textstyle V_{i}=g(x_{i})}, ygramo−1(z){\displaystyle g^{-1}(z)}es la inversa de la función de activacióngramo(incógnita){\displaystyle g(x)}Este modelo es un límite especial de la clase de modelos que se denomina modelos A, [ 26 ] con la siguiente elección de las funciones lagrangianas.

que, según la definición ( 2 ), conduce a las funciones de activación

Si integramos las neuronas ocultas, el sistema de ecuaciones ( 1 ) se reduce a las ecuaciones sobre las neuronas de características ( 5 ) conTij=∑μ=1nortehξμiξμj{\displaystyle T_{ij}=\sum \limits _{\mu =1}^{N_{h}}\xi _{\mu i}\xi _{\mu j}}y la expresión general para la energía ( 3 ) se reduce a la energía efectiva

Si bien los dos primeros términos de la ecuación ( 6 ) son iguales a los de la ecuación ( 9 ), el tercer término parece superficialmente diferente. En la ecuación ( 9 ) es una transformada de Legendre del lagrangiano para las neuronas de características, mientras que en ( 6 ) el tercer término es una integral de la función de activación inversa. Sin embargo, estas dos expresiones son de hecho equivalentes, ya que las derivadas de una función y su transformada de Legendre son funciones inversas entre sí. La forma más sencilla de ver que estos dos términos son iguales explícitamente es diferenciar cada uno con respecto aincógnitai{\displaystyle x_{i}}. Los resultados de estas diferenciaciones para ambas expresiones son iguales aincógnitaigramo(incógnitai)′{\displaystyle x_{i}g(x_{i})'}. Por lo tanto, las dos expresiones son iguales salvo una constante aditiva. Esto completa la demostración [ 26 ] de que la red de Hopfield clásica con estados continuos [ 20 ] es un caso límite especial de la red de Hopfield moderna ( 1 ) con energía ( 3 ).

Formulación general de la red de Hopfield moderna

Figura 3: Diagrama de conectividad de la red de Hopfield moderna totalmente conectada, compuesta por cinco neuronas. Los pesos sinápticos se describen mediante una matriz simétrica.WIJ{\displaystyle W_{IJ}}.

Las redes neuronales biológicas presentan un alto grado de heterogeneidad en cuanto a los diferentes tipos de células. Esta sección describe un modelo matemático de una red de Hopfield moderna totalmente conectada, asumiendo un grado extremo de heterogeneidad: cada neurona es diferente. [ 47 ] Específicamente, se describe una función de energía y las ecuaciones dinámicas correspondientes, asumiendo que cada neurona tiene su propia función de activación y escala de tiempo cinética. Se asume que la red está totalmente conectada, de modo que cada neurona está conectada a todas las demás mediante una matriz simétrica de pesos.WIJ{\displaystyle W_{IJ}}, índicesI{\displaystyle I}yJ{\displaystyle J}Enumerar las diferentes neuronas de la red, véase la figura 3. La forma más sencilla de formular matemáticamente este problema es definir la arquitectura mediante una función lagrangiana.L({incógnitaI}){\displaystyle L(\{x_{I}\})}que depende de las actividades de todas las neuronas en la red. La función de activación para cada neurona se define como una derivada parcial del lagrangiano con respecto a la actividad de esa neurona.

Desde la perspectiva biológica se puede pensar engramoI{\displaystyle g_{I}}como una salida axonal de la neuronaI{\displaystyle I}En el caso más simple, cuando el lagrangiano es aditivo para diferentes neuronas, esta definición resulta en una activación que es una función no lineal de la actividad de esa neurona. Para lagrangianos no aditivos, esta función de activación puede depender de las actividades de un grupo de neuronas. Por ejemplo, puede contener normalización contrastiva (softmax) o divisiva. Las ecuaciones dinámicas que describen la evolución temporal de una neurona dada se presentan en [ 47 ].

Esta ecuación pertenece a la clase de modelos denominados modelos de tasa de disparo en neurociencia. Cada neuronaI{\displaystyle I}recoge las salidas axónicasgramoJ{\displaystyle g_{J}}de todas las neuronas, las pondera con los coeficientes sinápticosWIJ{\displaystyle W_{IJ}}y produce su propia actividad dependiente del tiempoincógnitaI{\displaystyle x_{I}}La evolución temporal tiene una constante de tiempo.τI{\displaystyle \tau _{I}}, que en general puede ser diferente para cada neurona. Esta red tiene una función de energía global [ 47 ]

donde los dos primeros términos representan la transformada de Legendre de la función lagrangiana con respecto a las corrientes de las neuronas.incógnitaI{\displaystyle x_{I}}. La derivada temporal de esta función de energía se puede calcular en las trayectorias dinámicas que conducen a (ver [ 47 ] para más detalles)

El último signo de desigualdad se cumple siempre que la matrizMETROIK{\displaystyle M_{IK}}(o su parte simétrica) es semidefinida positiva. Si, además, la función de energía está acotada inferiormente, se garantiza que las ecuaciones dinámicas no lineales convergen a un estado atractor de punto fijo. La ventaja de formular esta red en términos de las funciones lagrangianas es que permite experimentar fácilmente con diferentes elecciones de las funciones de activación y diferentes configuraciones arquitectónicas de las neuronas. Para todas esas elecciones flexibles, las condiciones de convergencia están determinadas por las propiedades de la matriz.METROIJ{\displaystyle M_{IJ}}y la existencia de un límite inferior para la función de energía.

Figura 4: Diagrama de conectividad de la red de memoria asociativa jerárquica en capas. [ 47 ] Cada capa puede tener un número diferente de neuronas, una función de activación diferente y escalas de tiempo diferentes. Los pesos de alimentación directa y los pesos de retroalimentación son iguales.

Red de memoria asociativa jerárquica

Las neuronas se pueden organizar en capas de modo que cada neurona en una capa dada tenga la misma función de activación y la misma escala de tiempo dinámica. Si asumimos que no hay conexiones horizontales entre las neuronas dentro de la capa (conexiones laterales) y no hay conexiones de salto de capa, la red general totalmente conectada ( 11 ), ( 12 ) se reduce a la arquitectura que se muestra en la Fig. 4. Tienenortecapa{\displaystyle N_{\text{layer}}}capas de neuronas conectadas recurrentemente con estados descritos por variables continuasincógnitaiA{\displaystyle x_{i}^{A}}y las funciones de activacióngramoiA{\displaystyle g_{i}^{A}}, índiceA{\displaystyle A}enumera las capas de la red y el índicei{\displaystyle i}Enumera las neuronas individuales en esa capa. Las funciones de activación pueden depender de la actividad de todas las neuronas en la capa. Cada capa puede tener un número diferente de neuronas.norteA{\displaystyle N_{A}}Estas neuronas están conectadas recurrentemente con las neuronas de las capas precedentes y subsiguientes. Las matrices de pesos que conectan las neuronas en las capasA{\displaystyle A}yB{\displaystyle B}se denotan porξij(A,B){\displaystyle \xi _{ij}^{(A,B)}}(el orden de los índices superiores para los pesos es el mismo que el orden de los índices inferiores, en el ejemplo anterior esto significa que el índicei{\displaystyle i}enumera las neuronas en la capaA{\displaystyle A}y el índicej{\displaystyle j}enumera las neuronas en la capaB{\displaystyle B}). Los pesos de alimentación directa y los pesos de retroalimentación son iguales. Las ecuaciones dinámicas para los estados de las neuronas se pueden escribir como [ 47 ]

con condiciones de contorno

La principal diferencia entre estas ecuaciones y las de las redes de alimentación directa convencionales radica en la presencia del segundo término, responsable de la retroalimentación de las capas superiores. Estas señales descendentes ayudan a las neuronas de las capas inferiores a decidir su respuesta a los estímulos presentados. Siguiendo el procedimiento general, resulta conveniente introducir una función lagrangiana.LA({incógnitaiA}){\displaystyle L^{A}(\{x_{i}^{A}\})}para elA{\displaystyle A}-ésima capa oculta, que depende de las actividades de todas las neuronas en esa capa. [ 47 ] Las funciones de activación en esa capa se pueden definir como derivadas parciales del lagrangiano

Con estas definiciones, la función de energía (Lyapunov) viene dada por [ 47 ].

Si las funciones lagrangianas, o equivalentemente las funciones de activación, se eligen de tal manera que los hessianos para cada capa sean semidefinidos positivos y la energía total esté acotada inferiormente, se garantiza que este sistema convergerá a un estado atractor de punto fijo. La derivada temporal de esta función de energía viene dada por [ 47 ].

Por lo tanto, la red jerárquica en capas es, en efecto, una red atractora con una función de energía global. Esta red se describe mediante un conjunto jerárquico de pesos sinápticos que se pueden aprender para cada problema específico.

Véase también

Referencias

  1. 1 2 F. Rosenblatt, " Generalización perceptual sobre grupos de transformación ", págs. 63-100 en Sistemas autoorganizados: Actas de una conferencia interdisciplinaria, 5 y 6 de mayo de 1959. Editado por Marshall C. Yovitz y Scott Cameron. Londres, Nueva York, [etc.], Pergamon Press, 1960. ix, 322 págs.
  2. 1 2 Rosenblatt, Frank (15 de marzo de 1961). DTIC AD0256582: PRINCIPIOS DE NEURODINÁMICA. PERCEPTRONES Y LA TEORÍA DE LOS MECANISMOS CEREBRAL . Centro de Información Técnica de Defensa.
  3. ↑ WK Taylor, 1956. Simulación eléctrica de algunas actividades funcionales del sistema nervioso . Information Theory 3, EC Cherry (ed.), pp. 314-328. Londres: Butterworths.
  4. ^ Elogio: 1917 Karl Steinbuch 2005 , por Bernard Widrow, Reiner Hartenstein, Robert Hecht-Nielsen, IEEE Computational Intelligence Society. página 5. Agosto de 2005.
  5. ^ Steinbuch, K. (1 de enero de 1961). "Die Lernmatrix" . Kybernetik (en alemán). 1 (1): 36– 45. doi : 10.1007/BF00293853 . ISSN 1432-0770 . 
  6. ↑ Steinbuch, Karl (1961). Automat und Mensch: über menschliche und maschinelle Intelligenz . Berlín: Springer. ISBN 978-3-642-53168-2. OL 27019478M . {{cite book}}: Incompatibilidad de ISBN/Fecha ( ayuda )
  7. ↑ Steinbuch, K.; Piske, UAW (diciembre de 1963). "Matrices de aprendizaje y sus aplicaciones". IEEE Transactions on Electronic Computers . EC-12 (6): 846– 862. Bibcode : 1963ITECm..12..846S . doi : 10.1109/PGEC.1963.263588 . ISSN 0367-7508 . 
  8. ↑ Willshaw, DJ; Buneman, OP; Longuet-Higgins, HC (junio de 1969). "Memoria asociativa no holográfica" . Nature . 222 (5197): 960–962 . Bibcode : 1969Natur.222..960W . doi : 10.1038/222960a0 . ISSN 0028-0836 . PMID 5789326 .  
  9. ↑ Kohonen, T. (abril de 1974). "Un principio de memoria asociativa adaptativa". IEEE Transactions on Computers . C-23 (4): 444– 445. Bibcode : 1974ITCmp.100..444K . doi : 10.1109/TC.1974.223960 . ISSN 0018-9340 . 
  10. ↑ Glauber, Roy J. (febrero de 1963). "Roy J. Glauber "Estadísticas dependientes del tiempo del modelo de Ising"" . Journal of Mathematical Physics . 4 (2): 294– 307. doi : 10.1063/1.1703954 . Consultado el 21-03-2021 .
  11. ↑ Süzen, Mehmet (29 de septiembre de 2014). "Ergodicidad efectiva en la dinámica de inversión de espín único" . Physical Review E. 90 ( 3) 032141. arXiv : 1405.4497 . Bibcode : 2014PhRvE..90c2141S . doi : 10.1103/PhysRevE.90.032141 . PMID 25314429. S2CID 118355454. Recuperado el 9 de agosto de 2022 .  
  12. ↑ Nakano, Kaoru (1971). "Proceso de aprendizaje en un modelo de memoria asociativa". Reconocimiento de patrones y aprendizaje automático . págs. 172–186 . doi : 10.1007/978-1-4615-7566-5_15 . ISBN  978-1-4615-7568-9.
  13. ↑ Nakano, Kaoru (1972). "Associatron-A Model of Associative Memory". IEEE Transactions on Systems, Man, and Cybernetics . SMC-2 (3): 380– 388. Bibcode : 1972ITSMC...2..380N . doi : 10.1109/TSMC.1972.4309133 .
  14. ↑ Amari, Shun-Ichi (1972). "Aprendizaje de patrones y secuencias de patrones mediante redes autoorganizadas de elementos umbral". IEEE Transactions . C (21): 1197– 1206.
  15. ↑ Little, WA (1974). "La existencia de estados persistentes en el cerebro". Mathematical Biosciences . 19 ( 1–2 ): 101–120 . doi : 10.1016/0025-5564(74)90031-5 .
  16. ↑ Carpenter, Gail A (1989-01-01). "Modelos de redes neuronales para el reconocimiento de patrones y la memoria asociativa" . Redes neuronales . 2 (4): 243– 257. Bibcode : 1989NN......2..243C . doi : 10.1016/0893-6080(89)90035-X . ISSN 0893-6080 . 
  17. ↑ Cowan, Jack D. (enero de 1990). "Discusión: redes neuronales de McCulloch-Pitts y relacionadas de 1943 a 1989" . Boletín de Biología Matemática . 52 ( 1–2 ): 73–97 . doi : 10.1007/BF02459569 . ISSN 0092-8240 . 
  18. ↑ Sherrington, David; Kirkpatrick, Scott (1975-12-29). "Modelo soluble de un vidrio de espín" . Physical Review Letters . 35 (26): 1792– 1796. Bibcode : 1975PhRvL..35.1792S . doi : 10.1103/PhysRevLett.35.1792 . ISSN 0031-9007 . 
  19. 1 2 3 4 5 6 7 Hopfield, JJ (1982). "Redes neuronales y sistemas físicos con capacidades computacionales colectivas emergentes" . Actas de la Academia Nacional de Ciencias . 79 (8): 2554– 2558. Bibcode : 1982PNAS...79.2554H . doi : 10.1073/pnas.79.8.2554 . PMC 346238. PMID 6953413 .  
  20. 1 2 3 4 5 6 7 Hopfield, JJ (1984). "Las neuronas con respuesta graduada tienen propiedades computacionales colectivas como las de las neuronas de dos estados" . Actas de la Academia Nacional de Ciencias . 81 (10): 3088– 3092. Bibcode : 1984PNAS...81.3088H . doi : 10.1073/pnas.81.10.3088 . PMC 345226. PMID 6587342 .  
  21. ↑ Engel, A.; Broeck, C. van den (2001). Mecánica estadística del aprendizaje . Cambridge, Reino Unido; Nueva York, NY: Cambridge University Press. ISBN 978-0-521-77307-2.
  22. ↑ Seung, HS; Sompolinsky, H.; Tishby, N. (1992-04-01). "Mecánica estadística del aprendizaje a partir de ejemplos" . Physical Review A. 45 ( 8): 6056– 6091. Bibcode : 1992PhRvA..45.6056S . doi : 10.1103/PhysRevA.45.6056 . PMID 9907706 . 
  23. 1 2 3 4 5 6 7 8 9 10 Krotov, Dmitry; Hopfield, John (2016). "Memoria asociativa densa para el reconocimiento de patrones". Sistemas de procesamiento de información neuronal . 29 : 1172–1180 . arXiv : 1606.01164 .
  24. 1 2 3 4 Mete, Demircigil; et al. (2017). "Sobre un modelo de memoria asociativa con enorme capacidad de almacenamiento" . Journal of Statistical Physics . 168 (2): 288– 299. arXiv : 1702.01929 . Bibcode : 2017JSP...168..288D . doi : 10.1007/s10955-017-1806-y . S2CID 119317128 .  
  25. 1 2 3 4 5 Ramsauer, Hubert; et al. (2021). "Hopfield Networks is All You Need". Conferencia Internacional sobre Representaciones de Aprendizaje . arXiv : 2008.02217 . 
  26. 1 2 3 4 5 6 7 8 9 10 11 Krotov, Dmitry; Hopfield, John (2021). "Gran problema de memoria asociativa en neurobiología y aprendizaje automático". Conferencia Internacional sobre Representaciones de Aprendizaje . arXiv : 2008.06996 .
  27. ↑ Hopfield, JJ (1982). "Redes neuronales y sistemas físicos con capacidades computacionales colectivas emergentes" . Actas de la Academia Nacional de Ciencias . 79 ( 8): 2554– 2558. Bibcode : 1982PNAS...79.2554H . doi : 10.1073/pnas.79.8.2554 . PMC 346238. PMID 6953413 .  
  28. ↑ MacKay, David JC (2003). "42. Redes de Hopfield". Teoría de la información, inferencia y algoritmos de aprendizaje . Cambridge University Press . pág. 508. ISBN  978-0521642989Esta prueba de convergencia depende fundamentalmente de que las conexiones de la red de Hopfield sean simétricas . También depende de que las actualizaciones se realicen de forma asíncrona.
  29. 1 2 3 Bruck, J. (octubre de 1990). "Sobre las propiedades de convergencia del modelo de Hopfield" . Proc. IEEE . 78 (10): 1579–85 . Bibcode : 1990IEEEP..78.1579B . doi : 10.1109/5.58341 .
  30. 1 2 3 4 5 Uykan, Z. (septiembre de 2020). "Sobre el principio de funcionamiento de las redes neuronales de Hopfield y su equivalencia con GADIA en optimización". IEEE Transactions on Neural Networks and Learning Systems . 31 (9): 3294– 3304. Bibcode : 2020ITNNL..31.3294U . doi : 10.1109/TNNLS.2019.2940920 . PMID 31603804. S2CID 204331533 .  
  31. ↑ Uykan, Z. (marzo de 2021). "Minimización/maximización de cortes de sombra y redes neuronales complejas de Hopfield" . IEEE Transactions on Neural Networks and Learning Systems . 32 (3): 1096–1109 . Bibcode : 2021ITNNL..32.1096U . doi : 10.1109/TNNLS.2020.2980237 . PMID 32310787. S2CID 216047831 .  
  32. ↑ Hopfield, JJ; Tank, DW (1985). "Cálculo neuronal de decisiones en problemas de optimización". Cibernética Biológica . 52 (3): 141– 6. doi : 10.1007/BF00339943 . PMID 4027280. S2CID 36483354 .  
  33. ↑ Bruck, Jehoshua; Goodman, Joseph W (1990-06-01). "Sobre el poder de las redes neuronales para resolver problemas difíciles" . Journal of Complexity . 6 (2): 129– 135. doi : 10.1016/0885-064X(90)90001-T . ISSN 0885-064X . 
  34. 1 2 Storkey, AJ; Valabregue, R. (1999). "Las cuencas de atracción de una nueva regla de aprendizaje de Hopfield". Redes neuronales . 12 (6): 869– 876. CiteSeerX 10.1.1.19.4681 . doi : 10.1016/S0893-6080(99)00038-6 . PMID 12662662 .  
  35. ↑ Hebb 1949
  36. 1 2 3 Storkey, Amos (1997). "Aumento de la capacidad de una red Hopfield sin sacrificar la funcionalidad". Redes neuronales artificiales – ICANN'97 . Notas de clase en informática. Vol. 1327. Springer. págs. 451–6 . CiteSeerX 10.1.1.33.103 . doi : 10.1007/BFb0020196 . ISBN    978-3-540-69620-9.
  37. 1 2 Hertz 1991
  38. ↑ Bruck, J.; Roychowdhury, VP (1990). "Sobre el número de recuerdos espurios en el modelo de Hopfield (red neuronal)" . IEEE Transactions on Information Theory . 36 (2): 393– 397. Bibcode : 1990ITIT...36..393B . doi : 10.1109/18.52486 .
  39. ↑ Liou, C.-Y.; Lin, S.-L. (2006). "Carga de memoria finita en neuronas peludas" (PDF) . Natural Computing . 5 (1): 15– 42. doi : 10.1007/s11047-004-5490-x . S2CID 35025761 . 
  40. ↑ Liou, C.-Y.; Yuan, S.-K. (1999). "Memoria asociativa tolerante a errores". Cibernética biológica . 81 (4): 331– 342. doi : 10.1007/s004220050566 . PMID 10541936 . S2CID 6168346 .  
  41. ↑ Yuan, S.-K. (junio de 1997). Expansión de las cuencas de atracción de la memoria asociativa (tesis de maestría). Universidad Nacional de Taiwán. 991010725609704786.
  42. ↑ ABOUDIB, Ala; GRIPON, Vincent; JIANG, Xiaoran (2014). "Un estudio de algoritmos de recuperación de mensajes dispersos en redes de cliques neuronales" . COGNITIVE 2014 : La 6.ª Conferencia Internacional sobre Tecnologías y Aplicaciones Cognitivas Avanzadas . pp. 140–6 . arXiv : 1308.4506 . Bibcode : 2013arXiv1308.4506A .  
  43. ↑ Amit, DJ (1992). Modelado de la función cerebral: El mundo de las redes neuronales atractoras . Cambridge University Press. ISBN 978-0-521-42124-9.
  44. ↑ Rolls, Edmund T. (2016). Corteza cerebral: Principios de funcionamiento . Oxford University Press. ISBN 978-0-19-878485-2.
  45. 1 2 Horn, D; Usher, M (1988). "Capacidades de modelos de memoria multiconectados" . Journal de Physique . 49 (3): 389– 395. doi : 10.1051/jphys:01988004903038900 .
  46. 1 2 3 Burns, Thomas; Fukai, Tomoki (2023). "Redes de Hopfield simpliciales" . Conferencia Internacional sobre Representaciones de Aprendizaje . 11. arXiv : 2305.05179 .
  47. ^ Krotov , Dmitry ( 2021 ) .​ ​"Memoria asociativa jerárquica". arXiv : 2107.06446 [ cs.NE ].
  • Hebb, DO (2005) [1949]. La organización del comportamiento: una teoría neuropsicológica . Psychology Press. ISBN 978-1-135-63190-1.
  • Hertz, John A. (2018) [1991]. Introducción a la teoría de la computación neuronal . CRC Press. ISBN 978-0-429-96821-1.
  • McCulloch, WS; Pitts, WH (1943). "Un cálculo lógico de las ideas inmanentes en la actividad nerviosa". Boletín de Biofísica Matemática . 5 (4): 115– 133. Bibcode : 1943BMaB....5..115M . doi : 10.1007/BF02478259 .
  • Polyn, SM; Kahana, MJ (2008). " Búsqueda de memoria y la representación neuronal del contexto" . Trends in Cognitive Sciences . 12 (1): 24– 30. doi : 10.1016/j.tics.2007.10.010 . PMC 2839453. PMID 18069046 .  
  • Rizzuto, DS; Kahana, MJ (2001). "Un modelo de red neuronal autoasociativa de aprendizaje de pares asociados". Neural Computation . 13 (9): 2075– 2092. CiteSeerX 10.1.1.45.7929 . doi : 10.1162/089976601750399317 . PMID 11516358 . S2CID 7675117 .   
  • Kruse, Rudolf; Borgelt, cristiano; Klawonn, Frank; Moewes, cristiano; Steinbrecher, Matías; Celebrado, Pascal (2013). Inteligencia computacional: una introducción metodológica . Saltador. ISBN 978-1-4471-5013-8.
  • Rojas, Raul (12 de julio de 1996). "13. El modelo de Hopfield" (PDF) . Redes neuronales: una introducción sistemática . Springer. ISBN 978-3-540-60505-8.
  • Javascript de Hopfield Network
  • El problema del viajante archivado el 30/05/2015 en Wayback Machine – Applet de Java de la red neuronal de Hopfield
  • Hopfield, John (2007). "Red de Hopfield" . Scholarpedia . 2 (5): 1977. Bibcode : 2007SchpJ...2.1977H . doi : 10.4249/scholarpedia.1977 .
  • "No olvides la memoria asociativa" . The Gradient . 7 de noviembre de 2020. Consultado el 27 de septiembre de 2024 .
Lecturas relacionadas
6 articulos
Red neuronal recurrenteRed neuronal recurrenteLas redes neuronales recurrentes (RNN) son una clase de redes neuronales artificiales para el procesamiento secuencial de datos. A diferencia de la...Vidrio giratorioVidrio giratorioEn física de la materia condensada , un vidrio de espín es un estado magnético caracterizado por la aleatoriedad, además de un comportamiento coope...Content-addressable memoryContent-addressable memoryContent addressable memory Content-addressable memory ( CAM ) is a special type of computer memory used in certain very-high-speed searching applic...John HopfieldJohn HopfieldJohn Joseph Hopfield (nacido el 15 de julio de 1933) [ 1 ] es un físico estadounidense y profesor emérito de la Universidad de Princeton , conocido...{\displaystyle \,w_{ij}=x_{i}x_{j}}Teoría hebbianaLa teoría hebbiana es una teoría neuropsicológica que sostiene que el aumento de la eficacia sináptica surge de la estimulación repetida y persiste...FísicaFísicaLa física es la ciencia natural de la materia , que implica el estudio de la materia, sus constituyentes fundamentales , su movimiento y comportami...