Red neuronal recursiva

En la arquitectura más simple, los nodos se combinan en padres utilizando una matriz de pesos (que se comparte en toda la red) y una no linealidad como la${\displaystyle \tanh }$función hiperbólica . Si${\displaystyle c_{1}}$y${\displaystyle c_{2}}$son${\displaystyle n}$Representaciones vectoriales de -dimensiones de nodos, su padre también será un${\displaystyle n}$Vector de -dimensiones, definido como:

${\displaystyle p_{1,2}=\tanh(W[c_{1};c_{2}])}$

dónde${\displaystyle W}$es un erudito${\displaystyle n\times 2n}$matriz de pesos.

Esta arquitectura, con algunas mejoras, se ha utilizado con éxito para analizar escenas naturales, análisis sintáctico de oraciones en lenguaje natural, ^{[ 2 ]} y autoencoder recursivo y modelado generativo de estructuras de formas 3D en forma de abstracciones cuboides. ^{[ 3 ]}

RecCC es un enfoque de red neuronal constructiva para tratar dominios de árbol ^{[ 4 ]} con aplicaciones pioneras en química ^{[ 5 ]} y extensión a grafos acíclicos dirigidos . ^{[ 6 ]}

En 2004 se introdujo un marco para RNN no supervisadas. ^{[ 7 ] [ 8 ]}

Las redes neuronales tensoriales recursivas utilizan una única función de composición basada en tensores para todos los nodos del árbol. ^{[ 9 ]}

Normalmente, se utiliza el descenso de gradiente estocástico (SGD) para entrenar la red. El gradiente se calcula mediante retropropagación a través de la estructura (BPTS), una variante de la retropropagación a través del tiempo utilizada para redes neuronales recurrentes .

Las redes neuronales recurrentes son redes neuronales artificiales recursivas con una estructura determinada: la de una cadena lineal. Mientras que las redes neuronales recursivas operan sobre cualquier estructura jerárquica, combinando representaciones hijas para formar representaciones padres, las redes neuronales recurrentes operan sobre la progresión lineal del tiempo, combinando el paso de tiempo anterior y una representación oculta para formar la representación del paso de tiempo actual.

Un enfoque eficiente para implementar redes neuronales recursivas lo proporciona la Tree Echo State Network ^{[ 12 ]} dentro del paradigma de computación de reservorio .

Las extensiones a los grafos incluyen la red neuronal gráfica (GNN), ^{[ 13 ]} la red neuronal para grafos (NN4G), ^{[ 14 ]} y más recientemente las redes neuronales convolucionales para grafos.