Redes neuronales basadas en la física

La solución basada en datos de la EDP ^{[ 1 ]} calcula el estado oculto${\displaystyle u(t,x)}$del sistema dados los datos de contorno y/o las mediciones${\displaystyle z}$y parámetros fijos del modelo${\displaystyle \lambda }$. Resolvemos:

${\displaystyle u_{t}+{\mathcal {N}}[u]=0,\quad x\in \Omega ,\quad t\in [0,T]}$.

definiendo el residuo${\displaystyle f(t,x)}$como:

${\displaystyle f:=u_{t}+{\mathcal {N}}[u]}$,

y aproximando${\displaystyle u(t,x)}$mediante una red neuronal profunda . Esta red se puede diferenciar mediante diferenciación automática . Los parámetros de${\displaystyle u(t,x)}$y${\displaystyle f(t,x)}$Luego se puede aprender minimizando la siguiente función de pérdida.${\displaystyle L_{\text{total}}}$:

${\displaystyle L_{\text{tot}}=L_{u}+L_{f}}$

dónde:

• ${\displaystyle L_{u}=\Vert uz\Vert _{\Gamma }}$es el error entre el PINN${\displaystyle u(t,x)}$y el conjunto de condiciones de contorno y datos medidos en el conjunto de puntos${\displaystyle \Gamma }$donde se definen las condiciones de contorno y los datos.
• ${\displaystyle L_{f}=\Vert f\Vert _{\Gamma }}$es el error cuadrático medio de la función residual. Este segundo término anima a la PINN a aprender la información estructural expresada por la EDP durante el proceso de entrenamiento.

Este enfoque se ha utilizado para generar modelos sustitutos informados por la física, computacionalmente eficientes, con aplicaciones en la predicción de procesos físicos, control predictivo de modelos, modelado multifísico y multiescala, y simulación. ^{[ 10 ]} Se ha demostrado que converge a la solución de la EDP. ^{[ 11 ]}

Dadas las mediciones ruidosas e incompletas${\displaystyle z}$del estado del sistema, el descubrimiento de EDP basado en datos ^{[ 7 ]} da como resultado el cálculo del estado desconocido${\displaystyle u(t,x)}$y parámetros del modelo de aprendizaje${\displaystyle \lambda }$que mejor describen los datos observados:

${\displaystyle u_{t}+{\mathcal {N}}[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]}$

Al definir${\displaystyle f(t,x)}$como:

${\displaystyle f:=u_{t}+{\mathcal {N}}[u;\lambda ]=0}$,

y aproximando${\displaystyle u(t,x)}$mediante una red neuronal profunda ,${\displaystyle f(t,x)}$da como resultado una PINN. Esta red se puede derivar utilizando diferenciación automática. Los parámetros de${\displaystyle u(t,x)}$y${\displaystyle f(t,x)}$, junto con el parámetro${\displaystyle \lambda }$El operador diferencial se puede aprender minimizando la siguiente función de pérdida.${\displaystyle L_{\text{total}}}$:

${\displaystyle L_{\text{tot}}=L_{u}+L_{f}}$

dónde:

• ${\displaystyle L_{u}=\Vert uz\Vert _{\Gamma }}$, con${\displaystyle u}$y${\displaystyle z}$soluciones de estado y mediciones en ubicaciones dispersas${\displaystyle \Gamma }$, respectivamente.
• ${\displaystyle L_{f}=\Vert f\Vert _{\Gamma }}$es la función residual. Este segundo término requiere que la información estructurada representada por las ecuaciones diferenciales parciales se satisfaga en el proceso de entrenamiento.

Esta estrategia permite descubrir modelos dinámicos descritos por EDP no lineales, ensamblando modelos sustitutos computacionalmente eficientes y totalmente diferenciables que pueden encontrar aplicación en pronósticos predictivos, control y asimilación de datos . ^{[ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ]}

Las PINN no pueden aproximar EDP que tienen una fuerte no linealidad o gradientes pronunciados (como los que ocurren comúnmente en problemas prácticos de flujo de fluidos). La aproximación por partes ha sido una práctica antigua en el campo de la aproximación numérica. Con la capacidad de aproximar una fuerte no linealidad, las PINN extremadamente ligeras se utilizan para resolver EDP en subdominios discretos mucho más grandes que aumentan sustancialmente la precisión y también disminuyen la carga computacional. ^{[ 17 ] [ 18 ]} Las DPINN (Redes Neuronales Distribuidas Informadas por la Física) y las DPIELM (Máquinas de Aprendizaje Extremo Distribuidas Informadas por la Física) utilizan la discretización generalizable del dominio espacio-temporal para una mejor aproximación. ^{[ 17 ]} DPIELM es un aproximador extremadamente rápido y ligero con una precisión competitiva. El escalado del dominio en la parte superior tiene un efecto especial. ^{[ 18 ]} Otra escuela de pensamiento es la discretización para computación paralela para aprovechar el uso de los recursos computacionales disponibles.

Las XPINN ^{[ 19 ]} son ​​un enfoque generalizado de descomposición del dominio espacio-temporal para redes neuronales informadas por la física (PINN) para resolver ecuaciones diferenciales parciales no lineales en dominios arbitrarios de geometría compleja. Las XPINN amplían aún más los límites tanto de las PINN como de las PINN conservativas (cPINN) ^{[ 20 ]} , que son un enfoque de descomposición del dominio espacial en el marco de las PINN adaptado a las leyes de conservación. En comparación con las PINN, las XPINN tienen una gran capacidad de representación y paralelización debido a la propiedad inherente de desplegar múltiples redes neuronales en subdominios más pequeños. A diferencia de las cPINN, las XPINN se pueden extender a cualquier tipo de EDP. Además, el dominio se puede descomponer de cualquier manera arbitraria (en el espacio y el tiempo), lo que no es posible con las cPINN. Por lo tanto, las XPINN ofrecen paralelización tanto espacial como temporal, reduciendo así el costo de entrenamiento de manera más efectiva. La XPINN es particularmente efectiva para problemas a gran escala (que involucran grandes conjuntos de datos), así como para problemas de alta dimensión donde las PINN basadas en redes simples no son adecuadas. Se han demostrado los límites rigurosos de los errores resultantes de la aproximación de las EDP no lineales (ecuaciones de Navier-Stokes incompresibles) con PINN y XPINN. ^{[ 15 ]} Sin embargo, la DPINN refuta el uso del ajuste residual (flujo) en las interfaces de dominio, ya que apenas parece mejorar la optimización. ^{[ 18 ]}

En el marco PINN, las condiciones iniciales y de contorno no se satisfacen analíticamente, por lo que deben incluirse en la función de pérdida de la red para ser aprendidas simultáneamente con las funciones desconocidas de la ecuación diferencial (ED). Tener objetivos contrapuestos durante el entrenamiento de la red puede conducir a gradientes desequilibrados al usar técnicas basadas en gradientes, lo que hace que las PINN a menudo tengan dificultades para aprender con precisión la solución subyacente de la ED. Este inconveniente se supera utilizando técnicas de interpolación funcional como la expresión restringida de la teoría de conexiones funcionales (TFC), en el marco Deep-TFC ^{[ 21 ]} , que reduce el espacio de búsqueda de soluciones de problemas restringidos al subespacio de la red neuronal que satisface analíticamente las restricciones. ^{[ 22 ]} Una mejora adicional del enfoque PINN y de interpolación funcional la proporciona el marco de la teoría extrema de conexiones funcionales (X-TFC), donde se emplean una red neuronal de una sola capa y el algoritmo de entrenamiento de máquina de aprendizaje extremo . ^{[ 23 ]} X-TFC permite mejorar la precisión y el rendimiento de las PINN regulares, y su robustez y fiabilidad se demuestran para problemas rígidos, control óptimo , aplicaciones aeroespaciales y de dinámica de gases enrarecidos. ^{[ 24 ] [ 25 ] [ 26 ]}

Las PINN regulares solo pueden obtener la solución de un problema directo o inverso en una única geometría. Esto significa que para cualquier geometría nueva (dominio computacional), es necesario reentrenar una PINN. Esta limitación de las PINN regulares impone altos costos computacionales, especialmente para una investigación exhaustiva de parámetros geométricos en diseños industriales. La red de puntos informada por la física (PIPN) ^{[ 27 ]} es fundamentalmente el resultado de una combinación de la función de pérdida de PINN con PointNet. ^{[ 28 ]} De hecho, en lugar de utilizar una red neuronal simple totalmente conectada, PIPN utiliza PointNet como núcleo de su red neuronal. PointNet fue diseñada principalmente para el aprendizaje profundo de la clasificación y segmentación de objetos 3D por el grupo de investigación de Leonidas J. Guibas . PointNet extrae características geométricas de los dominios computacionales de entrada en PIPN. Por lo tanto, PIPN es capaz de resolver ecuaciones gobernantes en múltiples dominios computacionales (en lugar de solo un dominio) con geometrías irregulares, simultáneamente. Se ha demostrado la eficacia de PIPN para flujo incompresible , transferencia de calor y elasticidad lineal . ^{[ 27 ] [ 29 ]}

Las redes neuronales semilagrangianas informadas por la física (SL-PINN) son una clase de PINN diseñadas para ecuaciones diferenciales parciales hiperbólicas y dominadas por el transporte, como la de Vlasov-Poisson ^{[ 30 ]} . En lugar de aproximar directamente el campo de solución, las SL-PINN aprenden un mapa de flujo característico inverso que transporta las coordenadas del espacio de fases hacia atrás a sus ubicaciones iniciales, lo que permite reconstruir la solución a partir de la condición inicial. El enfoque combina una representación lagrangiana de la dinámica de transporte con un tratamiento euleriano de las ecuaciones de campo y puede incorporar una regularización que preserva el volumen para mejorar la conservación de cantidades físicas como la masa, el momento y la energía. El método se ha aplicado a sistemas cinéticos, incluidas las ecuaciones de Vlasov-Poisson, y se ha informado que mejora la estabilidad a largo plazo y reduce la difusión numérica en relación con las formulaciones PINN convencionales ^{[ 30 ]} .

Las redes neuronales informadas por la física (PINN) han demostrado ser particularmente efectivas en la resolución de problemas inversos dentro de ecuaciones diferenciales, ^{[ 31 ]} demostrando su aplicabilidad en ciencia, ingeniería y economía. Han demostrado ser útiles para resolver problemas inversos en una variedad de campos, incluyendo nanoóptica, ^{[ 32 ]} optimización/caracterización topológica, ^{[ 33 ]} flujo multifásico en medios porosos, ^{[ 34 ] [ 35 ]} y flujo de fluidos de alta velocidad. ^{[ 36 ] [ 13 ]} Las PINN han demostrado flexibilidad al tratar con conjuntos de datos de observación ruidosos e inciertos. También demostraron claras ventajas en el cálculo inverso de parámetros para conjuntos de datos de multifidelidad, es decir, conjuntos de datos con diferente calidad, cantidad y tipos de observaciones. Las incertidumbres en los cálculos pueden evaluarse utilizando cálculos basados ​​en conjuntos o basados ​​en Bayes. ^{[ 37 ] [ 38 ]}

Las PINN también pueden utilizarse junto con la regresión simbólica para descubrir la expresión matemática relacionada con el descubrimiento de parámetros y funciones. Un ejemplo de dicha aplicación es el estudio del envejecimiento químico del material aislante de celulosa, ^{[ 39 ]} en el que las PINN se utilizan para descubrir primero un parámetro para un conjunto de ecuaciones diferenciales ordinarias (EDO) y posteriormente una solución funcional, que luego se utiliza para encontrar una expresión más adecuada mediante una regresión simbólica con una combinación de operadores.

Se aplica un conjunto de redes neuronales informadas por la física para resolver problemas de elasticidad plana. Las redes sustitutas están destinadas a las funciones desconocidas, a saber, los componentes de los tensores de deformación y tensión, así como el campo de desplazamiento desconocido, respectivamente. La red residual proporciona los residuos de las ecuaciones diferenciales parciales (EDP) y de las condiciones de contorno. El enfoque computacional se basa en principios de inteligencia artificial. ^{[ 40 ]} Este enfoque puede extenderse a problemas de elasticidad no lineal, donde las ecuaciones constitutivas son no lineales. Las PINN también pueden utilizarse para problemas de flexión de placas de Kirchhoff con cargas transversales distribuidas y para modelos de contacto con cimentaciones elásticas de Winkler. ^{[ 41 ] En [ 42 ]} se describe una comparación de las PINN con métodos de aproximación clásicos en mecánica, especialmente el método de elementos finitos de mínimos cuadrados .

Se utiliza una red neuronal multifísica (multi-PINN) para resolver eficazmente problemas de supresión de vibraciones electromecánicas estáticas y dinámicas con un circuito en derivación. Los problemas electromecánicos, como los que involucran una viga piezoeléctrica en voladizo, pueden convertirse a la formulación PINN adecuada. Un enfoque de partición temporal reduce el costo computacional del problema dinámico. El sistema resultante de ecuaciones diferenciales ordinarias (EDO) se resuelve utilizando una multi-PINN para predecir con precisión la respuesta dinámica a la excitación de resonancia del modo principal. ^{[ 43 ]}

El método de ecuaciones diferenciales estocásticas regresivas profundas es un método numérico que combina el aprendizaje profundo con ecuaciones diferenciales estocásticas regresivas (BSDE) para resolver problemas de alta dimensión en matemáticas financieras. Al aprovechar las potentes capacidades de aproximación de funciones de las redes neuronales profundas , BSDE profunda aborda los desafíos computacionales que enfrentan los métodos numéricos tradicionales, como los métodos de diferencias finitas o las simulaciones de Monte Carlo, que luchan contra la maldición de la dimensionalidad . Los métodos BSDE profundas utilizan redes neuronales para aproximar soluciones de ecuaciones diferenciales parciales (EDP) de alta dimensión, reduciendo eficazmente la carga computacional. Además, la integración de redes neuronales informadas por la física (PINN) en el marco de BSDE profunda mejora su capacidad al incorporar las leyes físicas subyacentes en la arquitectura de la red neuronal, asegurando que las soluciones se adhieran a las ecuaciones diferenciales estocásticas que las rigen, lo que resulta en soluciones más precisas y confiables. ^{[ 44 ]}

Una extensión o adaptación de las PINN son las redes neuronales con información biológica (BINN). Las BINN introducen dos adaptaciones clave al marco típico de las PINN: (i) los términos mecanicistas de la EDP que las rige se reemplazan por redes neuronales, y (ii) la función de pérdida${\displaystyle L_{tot}}$se modifica para incluir${\displaystyle L_{constr}}$, un término utilizado para incorporar conocimiento específico del dominio que ayuda a reforzar la aplicabilidad biológica. Para (i), esta adaptación tiene la ventaja de relajar la necesidad de especificar la ecuación diferencial gobernante a priori, ya sea explícitamente o mediante el uso de una biblioteca de términos candidatos. Además, este enfoque evita el problema potencial de especificar incorrectamente los términos de regularización en casos más estrictos informados por la teoría. ^{[ 45 ] [ 46 ]}

Un ejemplo natural de BINN se puede encontrar en la dinámica celular, donde la densidad celular${\displaystyle u(x,t)}$Se rige por una ecuación de reacción-difusión con funciones de difusión y crecimiento.${\displaystyle D(u)}$y${\displaystyle G(u)}$, respectivamente:

${\displaystyle u_{t}=\nabla \cdot [D(u)\nabla u]+G(u)u,\quad x\in \Omega ,\quad t\in [0,T]}$

En este caso, un componente de${\displaystyle L_{constr}}$podría ser${\displaystyle ||D||_{\Gamma }}$para${\displaystyle D<D_{min},D>D_{max}}$, que penaliza los valores de${\displaystyle D}$que se encuentran fuera de un rango de difusión biológicamente relevante definido por${\displaystyle D_{min}\leq D\leq D_{max}}$Además, la arquitectura BINN, al utilizar perceptrones multicapa (MLP), funcionaría de la siguiente manera: se utiliza un MLP para construir${\displaystyle u_{MLP}(x,t)}$a partir de las entradas del modelo${\displaystyle (x,t)}$, sirviendo como modelo sustituto para la densidad celular${\displaystyle u(x,t)}$Este sustituto se introduce luego en los dos MLP adicionales,${\ Displaystyle D_ {MLP} (u_ {MLP})}$y${\ Displaystyle G_ {MLP} (u_ {MLP})}$, que modelan las funciones de difusión y crecimiento. Luego se puede aplicar la diferenciación automática para calcular las derivadas necesarias de${\displaystyle u_{MLP}}$,${\displaystyle D_{MLP}}$y${\displaystyle G_{MLP}}$para formar la ecuación de reacción-difusión que rige el proceso. ^{[ 45 ]}

Tenga en cuenta que desde${\displaystyle u_{MLP}}$Si bien es un indicador indirecto de la densidad celular, puede contener errores, especialmente en regiones donde la ecuación diferencial parcial no se satisface completamente. Por lo tanto, la ecuación de reacción-difusión puede resolverse numéricamente, por ejemplo, utilizando el método de las líneas .