Imagen profunda previa

Los problemas inversos, como la reducción de ruido , la superresolución y el relleno de imágenes , pueden formularse como una tarea de optimización.${\displaystyle x^{*}=min_{x}E(x;x_{0})+R(x)}$, dónde${\displaystyle x}$es una imagen,${\displaystyle x_{0}}$una representación corrupta de esa imagen,${\displaystyle E(x;x_{0})}$es un término de datos dependiente de la tarea, y R(x) es el regularizador .

Las redes neuronales profundas aprenden un generador/decodificador.${\displaystyle x=f_{\theta}(z)}$que mapea un vector de código aleatorio${\displaystyle z}$a una imagen${\displaystyle x}$.

El método de corrupción de imágenes utilizado para generar${\displaystyle x_{0}}$se selecciona para la aplicación específica.

En este enfoque, el${\displaystyle R(x)}$El prior se reemplaza con el prior implícito capturado por la red neuronal (donde${\displaystyle R(x)=0}$para imágenes que pueden ser producidas por redes neuronales profundas y${\displaystyle R(x)=+\infty }$de lo contrario). Esto produce la ecuación para el minimizador${\displaystyle \theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})}$y el resultado del proceso de optimización${\displaystyle x^{*}=f_{\theta ^{*}}(z)}$.

El minimizador${\displaystyle \theta ^{*}}$(típicamente un descenso de gradiente ) comienza con parámetros inicializados aleatoriamente y desciende hacia un mejor resultado local para producir el${\displaystyle x^{*}}$función de restauración.

Por lo general, el modelo de red neuronal profunda para el prior de imágenes profundas utiliza un modelo similar a U-Net sin las conexiones de salto que conectan los bloques del codificador con los del decodificador. Los autores mencionan en su artículo que "Nuestros hallazgos aquí (y en otras comparaciones similares) parecen sugerir que tener una arquitectura más profunda es beneficioso, y que tener conexiones de salto que funcionan tan bien para tareas de reconocimiento (como la segmentación semántica) es altamente perjudicial". ^{[ 1 ]}

El principio de eliminación de ruido es recuperar una imagen${\displaystyle x}$a partir de una observación ruidosa${\displaystyle x_{0}}$, dónde${\displaystyle x_{0}=x+\epsilon }$La distribución${\displaystyle \epsilon }$A veces se conoce (por ejemplo, el perfilado del sensor y el ruido de fotones ^{[ 2 ]} ) y puede incorporarse opcionalmente al modelo, aunque este proceso funciona bien en la eliminación ciega de ruido.

La función de energía cuadrática${\displaystyle E(x,x_{0})=||x-x_{0}||^{2}}$se utiliza como término de datos, insertándolo en la ecuación para${\displaystyle \theta ^{*}}$da como resultado el problema de optimización${\displaystyle min_{\theta }||f_{\theta }(z)-x_{0}||^{2}}$.

La superresolución se utiliza para generar una versión de mayor resolución de la imagen x. El término de datos se establece en${\displaystyle E(x;x_{0})=||d(x)-x_{0}||^{2}}$donde d(·) es un operador de submuestreo como Lanczos que diezma la imagen por un factor t.

El relleno de imágenes se utiliza para reconstruir un área faltante en una imagen.${\displaystyle x_{0}}$Estos píxeles faltantes se definen como la máscara binaria.${\displaystyle m\in \{0,1\}^{H\times V}}$El término de datos se define como${\displaystyle E(x;x_{0})=||(x-x_{0})\odot m||^{2}}$(dónde${\displaystyle \odot }$es el producto Hadamard ).

La idea subyacente es que la pérdida se calcula únicamente sobre los píxeles conocidos de la imagen, y la red neuronal aprenderá lo suficiente sobre la imagen para completar las partes desconocidas, aunque la pérdida calculada no incluya esos píxeles. Esta estrategia se utiliza para eliminar marcas de agua de imágenes, tratándolas como píxeles faltantes.

Este enfoque puede extenderse a múltiples imágenes. Un ejemplo sencillo mencionado por el autor es la reconstrucción de una imagen para obtener luz y nitidez naturales a partir de un par de imágenes con y sin flash. La reconstrucción de vídeo es posible, pero requiere optimizaciones para tener en cuenta las diferencias espaciales.