Campo neuronal

Para tareas supervisadas , dado${\displaystyle N}$ejemplos en el conjunto de datos de entrenamiento (es decir,${\displaystyle ({\boldsymbol {x_{i}}},{\boldsymbol {y_{i}}})\in {\mathcal {D_{train}}},i=1,\dots ,N}$), los parámetros del campo neuronal se pueden aprender minimizando una función de pérdida.${\displaystyle {\mathcal {L}}}$(p. ej., error cuadrático medio ). Los parámetros${\displaystyle {\tilde {\theta }}}$que satisfacen el problema de optimización se encuentran como: ^{[ 1 ] [ 3 ] [ 4 ]}$${\displaystyle {\tilde {\boldsymbol {\theta }}}={\underset {\boldsymbol {\theta }}{\text{argmin}}}\;{\frac {1}{N}}\sum _{({\boldsymbol {x_{i}}},{\boldsymbol {y_{i}}})\in {\mathcal {D_{train}}}}{\mathcal {L}}(\Psi _{\theta }({\boldsymbol {x}}_{i}),{\boldsymbol {y}}_{i})}$$Cabe destacar que no es necesario conocer la expresión analítica de${\displaystyle \Phi }$, ya que el procedimiento de entrenamiento previamente descrito solo requiere pares de entrada-salida. De hecho, un campo neuronal puede ofrecer un sustituto continuo y diferenciable del campo real, incluso a partir de datos puramente experimentales . ^{[ 1 ]}

Además, los campos neuronales pueden utilizarse en entornos no supervisados , con objetivos de entrenamiento que dependen de la tarea específica. Por ejemplo, las redes neuronales informadas por la física pueden entrenarse únicamente con el residuo . ^{[ 4 ]}

Como en cualquier red neuronal artificial, los campos neuronales pueden caracterizarse por un sesgo espectral (es decir, la tendencia a aprender preferentemente el contenido de baja frecuencia de un campo), lo que posiblemente conduzca a una representación deficiente de la verdad fundamental . ^{[ 5 ]} Para superar esta limitación, se han desarrollado varias estrategias. Por ejemplo, SIREN utiliza activaciones sinusoidales , ^{[ 6 ]} mientras que el enfoque de características de Fourier incrusta la entrada mediante senos y cosenos . ^{[ 7 ]}

Cuando se trata de campos neuronales condicionales, la primera elección de diseño está representada por la forma en que se produce el código latente. Específicamente, se pueden identificar dos estrategias principales: ^{[ 1 ]}

• Codificador: el código latente es la salida de una segunda red neuronal, que actúa como codificador. Durante el entrenamiento, la función de pérdida es el objetivo utilizado para aprender los parámetros tanto del campo neuronal como del codificador. ^{[ 8 ]}
• Decodificación automática: cada ejemplo de entrenamiento tiene su propio código latente, entrenado conjuntamente con los parámetros del campo neuronal. Cuando el modelo tiene que procesar nuevos ejemplos (es decir, que no están presentes originalmente en el conjunto de datos de entrenamiento ), se resuelve un pequeño problema de optimización, manteniendo fijos los parámetros de la red y aprendiendo únicamente las nuevas variables latentes. ^{[ 9 ]}

Dado que esta última estrategia requiere pasos de optimización adicionales en el momento de la inferencia, sacrifica velocidad, pero mantiene el modelo general más pequeño. Además, a pesar de ser más sencillo de implementar, un codificador puede perjudicar las capacidades de generalización del modelo. ^{[ 1 ]} Por ejemplo, al tratar con un campo escalar físico.${\displaystyle f:\mathbb {R} ^{2}\rightarrow \mathbb {R} }$(por ejemplo, la presión de un fluido 2D ), un campo neuronal condicional basado en un autodecodificador puede mapear un solo punto al valor correspondiente del campo, siguiendo un código latente aprendido.${\displaystyle {\boldsymbol {z}}}$. ^{[ 10 ]} Sin embargo, si las variables latentes fueran producidas por un codificador, requeriría acceso a todo el conjunto de puntos y valores correspondientes (por ejemplo, como una cuadrícula regular o un gráfico de malla ), lo que daría lugar a un modelo menos robusto. ^{[ 1 ]}

En un campo neuronal con condicionamiento global , el código latente no depende de la entrada y, por lo tanto, ofrece una representación global (por ejemplo, la forma general de un vehículo). Sin embargo, dependiendo de la tarea, puede ser más útil dividir el dominio de${\displaystyle {\boldsymbol {x}}}$en varios subdominios, y aprenden diferentes códigos latentes para cada uno de ellos (por ejemplo, dividiendo una escena grande y compleja en subescenas para una representación más eficiente). Esto se denomina condicionamiento local. ^{[ 1 ]}

Existen varias estrategias para incluir la información de condicionamiento en el campo neuronal. En el marco matemático general, condicionar el campo neuronal con las variables latentes es equivalente a mapearlas a un subconjunto.${\displaystyle {\boldsymbol {\theta }}^{*}}$de los parámetros del campo neuronal: ^{[ 1 ]}$${\displaystyle {\boldsymbol {\theta }}^{*}=\Gamma ({\boldsymbol {z}})}$$En la práctica, las estrategias más destacadas son:

• Concatenación: el campo neuronal recibe, como entrada, la concatenación de la entrada original.${\displaystyle {\boldsymbol {x}}}$con los códigos latentes${\displaystyle {\boldsymbol {z}}}$Para las redes neuronales de alimentación directa, esto es equivalente a establecer${\displaystyle {\boldsymbol {\theta }}^{*}}$como el sesgo de la primera capa y${\displaystyle \Gamma ({\boldsymbol {z}})}$como una transformación afín . ^{[ 1 ]}
• Hiperredes: una hiperred es una red neuronal que produce los parámetros de otra red neuronal. ^{[ 11 ]} Específicamente, consiste en aproximar${\displaystyle \Gamma ({\boldsymbol {z}})}$con una red neuronal${\displaystyle {\sombrero {\Gamma }}_{\gamma }({\boldsymbol {z}})}$, dónde${\displaystyle {\boldsymbol {\gamma }}}$son los parámetros entrenables de la hiperred. Este enfoque es el más general, ya que permite aprender el mapeo óptimo de códigos latentes a parámetros de campo neuronal. Sin embargo, las hiperredes están asociadas a una mayor complejidad computacional y de memoria, debido a la gran cantidad de parámetros entrenables. Por lo tanto, se han desarrollado enfoques más ligeros. Por ejemplo, en la Modulación Lineal por Características (FiLM), la hiperred solo produce coeficientes de escala y sesgo para las capas de campo neuronal. ^{[ 1 ] [ 12 ]}

En lugar de depender del código latente para adaptar el campo neuronal a una tarea específica, también es posible explotar el metaaprendizaje basado en gradientes . En este caso, el campo neuronal se considera la especialización de un campo metaneuronal subyacente, cuyos parámetros se modifican para ajustarse a la tarea específica, a través de unos pocos pasos de descenso de gradiente . ^{[ 13 ] [ 14 ]} Una extensión de este marco de metaaprendizaje es el algoritmo CAVIA, que divide los parámetros entrenables en grupos específicos del contexto y compartidos, mejorando la paralelización y la interpretabilidad , al tiempo que reduce el sobreajuste meta . Esta estrategia es similar al campo neuronal condicional de autodecodificación, pero el procedimiento de entrenamiento es sustancialmente diferente. ^{[ 15 ]}