Operadores neuronales

Los operadores neuronales son una clase de arquitecturas de aprendizaje profundo diseñadas para aprender mapeos entre espacios de funciones de dimensión infinita . Representan una extensión de las redes neuronales artificiales tradicionales , diferenciándose del enfoque típico en el aprendizaje de mapeos entre espacios euclidianos de dimensión finita o conjuntos finitos. Los operadores neuronales aprenden directamente operadores entre espacios de funciones; pueden recibir funciones de entrada y la función de salida puede evaluarse en cualquier discretización. ^{[ 1 ] [ 2 ]}

La principal aplicación de los operadores neuronales es el aprendizaje de mapas sustitutos para los operadores de solución de ecuaciones diferenciales parciales (EDP), ^{[ 1 ] [ 2 ]} que son herramientas críticas en el modelado del entorno natural. ^{[ 3 ] [ 4 ]} Los solucionadores de EDP estándar pueden ser lentos y computacionalmente intensivos, especialmente para sistemas complejos. Los operadores neuronales han demostrado un rendimiento mejorado en la resolución de EDP ^{[ 5 ] [ 6 ]} en comparación con las metodologías de aprendizaje automático existentes, siendo significativamente más rápidos que los solucionadores numéricos. ^{[ 7 ] [ 8 ] [ 9 ]} Los operadores neuronales también se han aplicado a diversas disciplinas científicas y de ingeniería, como el modelado de flujo turbulento, la mecánica computacional , los datos estructurados en grafos, ^{[ 10 ]} y las geociencias. ^{[ 11 ]} En particular, se han aplicado al aprendizaje de campos de tensión-deformación en materiales, la clasificación de datos complejos como la transcriptómica espacial, la predicción del flujo multifásico en medios porosos, ^{[ 12 ]} y las simulaciones de migración de dióxido de carbono. Finalmente, el paradigma de aprendizaje de operadores permite aprender mapas entre espacios de funciones, y es diferente de las ideas paralelas de aprender mapas de espacios de dimensión finita a espacios de funciones, ^{[ 13 ] [ 14 ]} y engloba estas configuraciones como casos especiales cuando se limita a una resolución de entrada fija.

La comprensión y el mapeo de relaciones entre espacios funcionales tienen numerosas aplicaciones en ingeniería y ciencias. En particular, el problema de resolver ecuaciones diferenciales parciales puede plantearse como la identificación de un mapeo entre espacios funcionales, como por ejemplo, de una condición inicial a un estado que ha evolucionado con el tiempo. En otras EDP, este mapeo toma una función de coeficiente de entrada y produce una función de solución. El aprendizaje de operadores es un paradigma de aprendizaje automático que permite aprender operadores de solución que mapean la función de entrada a la función de salida ^{[ 15 ] [ 16 ] [ 17 ]} .

Utilizando métodos tradicionales de aprendizaje automático, abordar este problema implicaría discretizar los espacios de funciones de entrada y salida de dimensión infinita en cuadrículas de dimensión finita y aplicar modelos de aprendizaje estándar, como redes neuronales. Este enfoque reduce el aprendizaje de operadores al aprendizaje de funciones de dimensión finita y presenta algunas limitaciones, como la dificultad para generalizar a discretizaciones más allá de la cuadrícula utilizada en el entrenamiento.

Las propiedades principales de los operadores neuronales que los diferencian de las redes neuronales tradicionales son la invariancia y la convergencia de la discretización. ^{[ 1 ]} A diferencia de las redes neuronales convencionales, que están fijas en la discretización de los datos de entrenamiento, los operadores neuronales pueden adaptarse a diversas discretizaciones sin necesidad de reentrenamiento. Esta propiedad mejora la robustez y la aplicabilidad de los operadores neuronales en diferentes escenarios, proporcionando un rendimiento consistente en distintas resoluciones y mallas.

Arquitectónicamente, los operadores neuronales son similares a las redes neuronales de propagación directa en el sentido de que están compuestos por transformaciones lineales alternadas y no linealidades. Dado que los operadores neuronales actúan sobre funciones y generan funciones de salida, se han formulado como una secuencia de operadores integrales lineales alternados sobre espacios de funciones y no linealidades puntuales. ^{[ 1 ]} Utilizando una arquitectura análoga a la de las redes neuronales de dimensión finita, se han demostrado teoremas de aproximación universales similares para los operadores neuronales. En particular, se ha demostrado que los operadores neuronales pueden aproximar cualquier operador continuo en un conjunto compacto . ^{[ 1 ]}

Los operadores neuronales buscan aproximar algún operador.${\displaystyle {\mathcal {G}}:{\mathcal {A}}\to {\mathcal {U}}}$entre espacios funcionales${\displaystyle {\mathcal {A}}}$y${\displaystyle {\mathcal {U}}}$mediante la construcción de un mapa paramétrico${\displaystyle {\mathcal {G}}_{\phi}:{\mathcal {A}}\to {\mathcal {U}}}$. Tales mapas paramétricos${\displaystyle {\mathcal {G}}_{\phi}}$Generalmente se puede definir de la forma

${\displaystyle {\mathcal {G}}_{\phi }:={\mathcal {Q}}\circ \sigma (W_{T}+{\mathcal {K}}_{T}+b_{T})\circ \cdots \circ \sigma (W_{1}+{\mathcal {K}}_{1}+b_{1})\circ {\mathcal {P}},}$

dónde${\displaystyle {\mathcal {P}},{\mathcal {Q}}}$son los operadores de elevación (elevación del codominio de la función de entrada a un espacio de mayor dimensión) y proyección (proyección del codominio de la función intermedia a la dimensión de salida), respectivamente. Estos operadores actúan puntualmente sobre las funciones y suelen estar parametrizados como perceptrones multicapa .${\displaystyle \sigma }$es una no linealidad puntual, como una unidad lineal rectificada (ReLU) o una unidad lineal de error gaussiano (GeLU) . Cada capa${\displaystyle t=1,\dots ,T}$tiene un operador local respectivo${\displaystyle W_{t}}$(generalmente parametrizado por una red neuronal puntual), un operador integral de núcleo${\displaystyle {\mathcal {K}}_{t}}$y una función de sesgo${\displaystyle b_{t}}$. Dada alguna representación funcional intermedia${\displaystyle v_{t}}$con dominio${\displaystyle D}$en el${\displaystyle t}$-ésima capa oculta, un operador integral de núcleo${\displaystyle {\mathcal {K}}_{\phi }}$se define como

${\displaystyle ({\mathcal {K}}_{\phi }v_{t})(x):=\int _{D}\kappa _{\phi }(x,y,v_{t}(x),v_{t}(y))v_{t}(y)dy,}$

donde el núcleo${\displaystyle \kappa _{\phi }}$es una red neuronal implícita entrenable, parametrizada por${\displaystyle \phi }$.

En la práctica, a menudo se proporciona la función de entrada al operador neuronal con una resolución específica. Por ejemplo, considérese el escenario en el que se proporciona la evaluación de${\displaystyle v_{t}}$en${\displaystyle n}$agujas${\displaystyle \{y_{j}\}_{j}^{n}}$Tomando prestados métodos de aproximación de integrales de Nyström, como la integración de suma de Riemann y la cuadratura gaussiana , la operación integral anterior se puede calcular de la siguiente manera:

${\displaystyle \int _{D}\kappa _{\phi }(x,y,v_{t}(x),v_{t}(y))v_{t}(y)dy\approx \sum _{j}^{n}\kappa _{\phi }(x,y_{j},v_{t}(x),v_{t}(y_{j}))v_{t}(y_{j})\Delta _{y_{j}},}$

dónde${\displaystyle \Delta _{y_{j}}}$es el volumen de subárea o peso de cuadratura asociado al punto${\displaystyle y_{j}}$Por lo tanto, se puede calcular una capa simplificada como

${\displaystyle v_{t+1}(x)\approx \sigma \left(\sum _{j}^{n}\kappa _{\phi }(x,y_{j},v_{t}(x),v_{t}(y_{j}))v_{t}(y_{j})\Delta _{y_{j}}+W_{t}(v_{t}(y_{j}))+b_{t}(x)\right).}$

La aproximación anterior, junto con la parametrización${\displaystyle \kappa _{\phi }}$como red neuronal implícita, da como resultado el operador neuronal gráfico (GNO). ^{[ 18 ]}

Se han realizado diversas parametrizaciones de operadores neuronales para diferentes aplicaciones. ^{[ 7 ] [ 18 ]} Estas suelen diferir en su parametrización de${\displaystyle \kappa }$La instanciación más popular es el operador neuronal de Fourier (FNO). El FNO toma${\displaystyle \kappa _{\phi }(x,y,v_{t}(x),v_{t}(y)):=\kappa _{\phi }(x-y)}$y aplicando el teorema de convolución , se llega a la siguiente parametrización del operador integral del núcleo:

${\displaystyle ({\mathcal {K}}_{\phi }v_{t})(x)={\mathcal {F}}^{-1}(R_{\phi }\cdot ({\mathcal {F}}v_{t}))(x),}$

dónde${\displaystyle {\mathcal {F}}}$representa la transformada de Fourier y${\displaystyle R_{\phi }}$representa la transformada de Fourier de alguna función periódica${\displaystyle \kappa _{\phi }}$Es decir, FNO parametriza la integración del núcleo directamente en el espacio de Fourier, utilizando un número predefinido de modos de Fourier. Cuando la malla en la que se presenta la función de entrada es uniforme, la transformada de Fourier se puede aproximar mediante la transformada discreta de Fourier (DFT) con frecuencias inferiores a un umbral especificado. La transformada discreta de Fourier se puede calcular mediante una implementación de la transformada rápida de Fourier (FFT) .

El entrenamiento de operadores neuronales es similar al proceso de entrenamiento de una red neuronal tradicional. Los operadores neuronales se entrenan típicamente en alguna norma Lp o norma Sobolev . En particular, para un conjunto de datos${\displaystyle \{(a_{i},u_{i})\}_{i=1}^{N}}$de tamaño${\displaystyle N}$, los operadores neuronales minimizan (una discretización de)

${\displaystyle {\mathcal {L}}_{\mathcal {U}}(\{(a_{i},u_{i})\}_{i=1}^{N}):=\sum _{i=1}^{N}\|u_{i}-{\mathcal {G}}_{\theta }(a_{i})\|_{\mathcal {U}}^{2}}$,

dónde${\displaystyle \|\cdot \|_{\mathcal {U}}}$es una norma en el espacio de la función de salida${\displaystyle {\mathcal {U}}}$Los operadores neuronales se pueden entrenar directamente utilizando métodos basados ​​en retropropagación y descenso de gradiente .

Otro paradigma de entrenamiento está asociado con el aprendizaje automático informado por la física. En particular, las redes neuronales informadas por la física (PINN) utilizan leyes físicas completas para ajustar redes neuronales a soluciones de EDP. Las extensiones de este paradigma al aprendizaje de operadores se denominan ampliamente operadores neuronales informados por la física (PINO), ^{[ 19 ]} donde las funciones de pérdida pueden incluir ecuaciones físicas completas o leyes físicas parciales. A diferencia de las PINN estándar, el paradigma PINO incorpora una pérdida de datos (como se definió anteriormente) además de la pérdida física.${\displaystyle {\mathcal {L}}_{PDE}(a,{\mathcal {G}}_{\theta }(a))}$. La pérdida física${\displaystyle {\mathcal {L}}_{PDE}(a,{\mathcal {G}}_{\theta }(a))}$cuantifica cuánto la solución prevista de${\displaystyle {\mathcal {G}}_{\theta }(a)}$viola la ecuación de EDP para la entrada${\displaystyle a}$.

• Red neuronal
• Redes neuronales basadas en la física
• Campo neuronal

• neuronalop – Biblioteca de Python con diversas arquitecturas de operadores neuronales