Autoencoder

Un autoencoder se define mediante los siguientes componentes:

Dos conjuntos: el espacio de mensajes codificados${\displaystyle {\mathcal {Z}}}$; el espacio de mensajes decodificados${\displaystyle {\mathcal {X}}}$. Normalmente${\displaystyle {\mathcal {X}}}$y${\displaystyle {\mathcal {Z}}}$son espacios euclidianos , es decir,${\displaystyle {\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}}$con${\displaystyle m>n.}$

Dos familias de funciones parametrizadas : la familia de codificadores.${\displaystyle E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}}$, parametrizado por${\displaystyle \phi }$; la familia de decodificadores${\displaystyle D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}}$, parametrizado por${\displaystyle \theta }$.

Para cualquier${\displaystyle x\in {\mathcal {X}}}$, solemos escribir${\displaystyle z=E_{\phi}(x)}$y referirse a él como el código, la variable latente , la representación latente, el vector latente, etc. Por el contrario, para cualquier${\displaystyle z\in {\mathcal {Z}}}$, solemos escribir${\displaystyle x'=D_{\theta }(z)}$y referirnos a él como el mensaje (decodificado).

Por lo general, tanto el codificador como el decodificador se definen como perceptrones multicapa (MLP). Por ejemplo, un codificador MLP de una capa${\displaystyle E_{\phi }}$es:

${\displaystyle E_{\phi }(\mathbf {x} )=\sigma (Wx+b)}$

dónde${\displaystyle \sigma }$es una función de activación elemento a elemento ,${\displaystyle W}$es una matriz de "pesos" y${\displaystyle b}$es un vector de "sesgo".

Un autoencoder, por sí mismo, es simplemente una tupla de dos funciones. Para evaluar su calidad , necesitamos una tarea . Una tarea se define mediante una distribución de probabilidad de referencia.${\displaystyle \mu _{ref}}$encima${\displaystyle {\mathcal {X}}}$y una función de "calidad de reconstrucción"${\displaystyle d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]}$, de tal manera que${\displaystyle d(x,x')}$mide cuánto${\displaystyle x'}$difiere de${\displaystyle x}$.

Con estos, podemos definir la función de pérdida para el autoencoder como$${\displaystyle L(\theta ,\phi ):=\mathbb {\mathbb {E} } _{x\sim \mu _ {ref}}[d(x,D_{\theta }(E_{\phi }(x)))]}$$El autoencoder óptimo para la tarea dada${\displaystyle (\mu _{ref},d)}$es entonces${\displaystyle \arg \min _ {\theta,\phi}L(\theta,\phi)}$La búsqueda del autoencoder óptimo puede realizarse mediante cualquier técnica de optimización matemática, pero generalmente mediante el descenso de gradiente . Este proceso de búsqueda se conoce como "entrenamiento del autoencoder".

En la mayoría de las situaciones, la distribución de referencia es simplemente la distribución empírica dada por un conjunto de datos.${\displaystyle \{x_{1},...,x_{N}\}\subset {\mathcal {X}}}$, de modo que$${\displaystyle \mu _{ref}={\frac {1}{N}}\sum _{i=1}^{N}\delta _{x_{i}}}$$

dónde${\displaystyle \delta _{x_{i}}}$es la medida de Dirac , la función de calidad es simplemente${\displaystyle L^{2}}$pérdida:${\displaystyle d(x,x')=\|xx'\|_{2}^{2}}$, y${\displaystyle \|\cdot \|_{2}}$es la norma euclidiana . Entonces, el problema de buscar el autoencoder óptimo es simplemente una optimización por mínimos cuadrados :$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi ),\qquad {\text{dónde }}L(\theta ,\phi )={\frac {1}{N}}\sum _ {i=1}^{N}\|x_{i}-D_{\theta }(E_{\phi }(x_{i}))\|_{2}^{2}}$$

Un autoencoder tiene dos partes principales: un codificador que asigna el mensaje a un código y un decodificador que reconstruye el mensaje a partir del código. Un autoencoder óptimo realizaría una reconstrucción lo más cercana posible a la perfección, donde "cercana a la perfección" se define mediante la función de calidad de reconstrucción.${\displaystyle d}$.

La forma más sencilla de realizar la tarea de copiado a la perfección sería duplicar la señal. Para suprimir este comportamiento, el espacio de código${\displaystyle {\mathcal {Z}}}$generalmente tiene menos dimensiones que el espacio de mensajes${\displaystyle {\mathcal {X}}}$.

Este tipo de autoencoder se denomina subcompleto . Puede interpretarse como una compresión del mensaje o una reducción de su dimensionalidad . ^{[ 9 ] [ 10 ]}

En el límite de un autoencoder subcompleto ideal, cada posible código${\displaystyle z}$en el espacio de código se utiliza para codificar un mensaje${\displaystyle x}$que realmente aparece en la distribución${\displaystyle \mu _{ref}}$y el decodificador también es perfecto:${\displaystyle D_{\theta }(E_{\phi }(x))=x}$Este autoencoder ideal puede utilizarse para generar mensajes indistinguibles de los mensajes reales, alimentando su decodificador con código arbitrario.${\displaystyle z}$y obtener${\displaystyle D_{\theta}(z)}$, que es un mensaje que realmente aparece en la distribución${\displaystyle \mu _{ref}}$.

Si el espacio de código${\displaystyle {\mathcal {Z}}}$tiene una dimensión mayor que ( sobrecompletado ) o igual al espacio de mensajes${\displaystyle {\mathcal {X}}}$o si las unidades ocultas tienen suficiente capacidad, un autoencoder puede aprender la función identidad y volverse inútil. Sin embargo, los resultados experimentales encontraron que los autoencoders sobrecompletos aún podrían aprender características útiles . ^{[ 11 ]}

En el escenario ideal, la dimensión del código y la capacidad del modelo podrían establecerse en función de la complejidad de la distribución de datos que se va a modelar. Una forma estándar de hacerlo es añadir modificaciones al autoencoder básico, que se detallarán más adelante. ^{[ 2 ]}

Los autoencoders variacionales (VAE) pertenecen a la familia de métodos bayesianos variacionales . A pesar de las similitudes arquitectónicas con los autoencoders básicos, los VAE se diseñan con objetivos diferentes y poseen una formulación matemática distinta. En este caso, el espacio latente se compone de una mezcla de distribuciones en lugar de vectores fijos.

Dado un conjunto de datos de entrada${\displaystyle x}$caracterizada por una función de probabilidad desconocida${\displaystyle P(x)}$y un vector de codificación latente multivariado${\displaystyle z}$El objetivo es modelar los datos como una distribución.${\displaystyle p_{\theta }(x)}$, con${\displaystyle \theta }$definido como el conjunto de parámetros de red de modo que${\displaystyle p_{\theta }(x)=\int _ {z}p_{\theta }(x,z)dz}$.

Inspirados por la hipótesis de codificación dispersa en neurociencia, los autoencoders dispersos (SAE) son variantes de los autoencoders, de tal manera que los códigos${\displaystyle E_{\phi }(x)}$porque los mensajes tienden a ser códigos dispersos , es decir,${\displaystyle E_{\phi }(x)}$es cercano a cero en la mayoría de las entradas. Los autoencoders dispersos pueden incluir más (en lugar de menos) unidades ocultas que entradas, pero solo se permite que un pequeño número de unidades ocultas estén activas al mismo tiempo. ^{[ 12 ]} Fomentar la dispersión mejora el rendimiento en tareas de clasificación. ^{[ 13 ]}

Hay dos formas principales de imponer la escasez. Una forma es simplemente limitar a cero todas las activaciones del código latente excepto las k más altas. Este es el autoencoder k-escaso . ^{[ 13 ]}

El autoencoder k-disperso inserta la siguiente "función k-dispersa" en la capa latente de un autoencoder estándar:$${\displaystyle f_{k}(x_{1},...,x_{n})=(x_{1}b_{1},...,x_{n}b_{n})}$$dónde${\displaystyle b_{i}=1}$si${\displaystyle |x_{i}|}$ocupa los primeros k puestos, y 0 en caso contrario.

Retropropagación a través de${\displaystyle f_{k}}$es simple: establezca el gradiente en 0 para${\displaystyle b_{i}=0}$entradas y mantener gradiente para${\displaystyle b_{i}=1}$entradas. Esta es esencialmente una función ReLU generalizada . ^{[ 13 ]}

La otra forma es una versión relajada del autoencoder k-disperso. En lugar de forzar la dispersión, agregamos una pérdida de regularización de dispersión y luego optimizamos para$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{\text{sparse}}(\theta ,\phi )}$$dónde${\displaystyle \lambda >0}$mide cuánta escasez queremos imponer. ^{[ 14 ]}

Dejemos que la arquitectura del autoencoder tenga${\displaystyle K}$capas. Para definir una pérdida de regularización de escasez, necesitamos una escasez "deseada".${\displaystyle {\hat {\rho }}_{k}}$para cada capa, un peso${\displaystyle w_{k}}$para cuánto imponer cada escasez y una función${\displaystyle s:[0,1]\times [0,1]\to [0,\infty ]}$para medir cuánto difieren dos niveles de escasez.

Para cada entrada${\displaystyle x}$, sea la escasez real de activación en cada capa${\displaystyle k}$ser$${\displaystyle \rho _{k}(x)={\frac {1}{n}}\sum _{i=1}^{n}a_{k,i}(x)}$$dónde${\displaystyle a_{k,i}(x)}$es la activación en el${\displaystyle i}$-la neurona de la${\displaystyle k}$-capa sobre la entrada${\displaystyle x}$.

La pérdida de escasez al ingresar${\displaystyle x}$para una capa es${\displaystyle s({\hat {\rho }}_{k},\rho _{k}(x))}$y la pérdida de regularización de escasez para todo el autoencoder es la suma ponderada esperada de las pérdidas de escasez:$${\displaystyle L_{\text{sparse}}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}s({\hat {\rho }}_{k},\rho _{k}(x))\right]}$$Normalmente, la función${\displaystyle s}$es la divergencia de Kullback-Leibler (KL) , como ^{[ 13 ] [ 14 ] [ 15 ] [ 16 ]}

${\displaystyle s(\rho ,{\hat {\rho }})=KL(\rho ||{\hat {\rho }})=\rho \log {\frac {\rho }{\hat {\rho }}}+(1-\rho )\log {\frac {1-\rho }{1-{\hat {\rho }}}}}$

o la pérdida L1, como${\displaystyle s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|}$, o la pérdida L2, como${\displaystyle s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}}$.

Alternativamente, la pérdida de regularización de escasez puede definirse sin referencia a ninguna "escasez deseada", sino simplemente forzando la mayor escasez posible. En este caso, se puede definir la pérdida de regularización de escasez como$${\displaystyle L_{\text{sparse}}(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X}}\left[\sum _{k\in 1:K}w_{k}\|h_{k}\|\right]}$$dónde${\displaystyle h_{k}}$es el vector de activación en el${\displaystyle k}$-ésima capa del autoencoder. La norma${\displaystyle \|\cdot \|}$Por lo general, se utiliza la norma L1 (que da como resultado el autoencoder disperso L1) o la norma L2 (que da como resultado el autoencoder disperso L2).

Los autoencoders de eliminación de ruido (DAE) intentan lograr una buena representación cambiando el criterio de reconstrucción . ^{[ 2 ] [ 3 ]}

Un DAE, originalmente llamado "red autoasociativa robusta" por Mark A. Kramer, ^{[ 17 ]} se entrena corrompiendo intencionalmente las entradas de un autoencoder estándar durante el entrenamiento. Un proceso de ruido se define mediante una distribución de probabilidad.${\displaystyle \mu _{T}}$sobre funciones${\displaystyle T:{\mathcal {X}}\to {\mathcal {X}}}$. Es decir, la función${\displaystyle T}$toma un mensaje${\displaystyle x\in {\mathcal {X}}}$y lo corrompe hasta convertirlo en una versión ruidosa.${\displaystyle T(x)}$. La función${\displaystyle T}$se selecciona aleatoriamente, con una distribución de probabilidad${\displaystyle \mu _{T}}$.

Dada una tarea${\displaystyle (\mu _{\text{ref}},d)}$El problema de entrenar un DAE es el problema de optimización:$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )=\mathbb {\mathbb {E} } _{x\sim \mu _{X},T\sim \mu _{T}}[d(x,(D_{\theta }\circ E_{\phi }\circ T)(x))]}$$Es decir, el DAE óptimo debería tomar cualquier mensaje ruidoso e intentar recuperar el mensaje original sin ruido, de ahí el nombre de "eliminación de ruido" .

Por lo general, el proceso de ruido${\displaystyle T}$Se aplica únicamente durante la formación y las pruebas, no durante su uso posterior.

El uso de DAE depende de dos supuestos:

• Existen representaciones de los mensajes que son relativamente estables y robustas frente al tipo de ruido que probablemente encontraremos;
• Dichas representaciones capturan estructuras en la distribución de entrada que son útiles para nuestros propósitos. ^{[ 3 ]}

Algunos ejemplos de procesos que generan ruido son:

• ruido gaussiano isotrópico aditivo ,
• Ruido de enmascaramiento (una fracción de la entrada se elige aleatoriamente y se establece en 0).
• Ruido de sal y pimienta (una fracción de la entrada se elige aleatoriamente y se establece aleatoriamente en su valor mínimo o máximo). ^{[ 3 ]}

Un autoencoder contractivo (CAE) añade la pérdida de regularización contractiva a la pérdida estándar del autoencoder:$${\displaystyle \min _{\theta ,\phi }L(\theta ,\phi )+\lambda L_{\text{cont}}(\theta ,\phi )}$$dónde${\displaystyle \lambda >0}$mide cuánta contractividad queremos imponer. La pérdida de regularización contractiva se define como el cuadrado esperado de la norma de Frobenius de la matriz jacobiana de las activaciones del codificador con respecto a la entrada:$${\displaystyle L_{\text{cont}}(\theta ,\phi )=\mathbb {E} _{x\sim \mu _{ref}}\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}}$$Para entender qué${\displaystyle L_{\text{cont}}}$medidas, tenga en cuenta el hecho$${\displaystyle \|E_{\phi }(x+\delta x)-E_{\phi }(x)\|_{2}\leq \|\nabla _{x}E_{\phi }(x)\|_{F}\|\delta x\|_{2}}$$para cualquier mensaje${\displaystyle x\in {\mathcal {X}}}$y pequeña variación${\displaystyle \delta x}$en él. Por lo tanto, si${\displaystyle \|\nabla _{x}E_{\phi }(x)\|_{F}^{2}}$Es pequeño, lo que significa que un pequeño vecindario del mensaje se corresponde con un pequeño vecindario de su código. Esta es una propiedad deseada, ya que implica que una pequeña variación en el mensaje conlleva una variación pequeña, o incluso nula, en su código, como cuando dos imágenes pueden parecer iguales aunque no lo sean exactamente.

El DAE puede entenderse como un límite infinitesimal del CAE: en el límite de ruido de entrada gaussiano pequeño, los DAE hacen que la función de reconstrucción resista perturbaciones de entrada pequeñas pero de tamaño finito, mientras que los CAE hacen que las características extraídas resistan perturbaciones de entrada infinitesimales.

Un autoencoder de longitud de descripción mínima (MDL-AE) es una variante avanzada del autoencoder tradicional que aprovecha principios de la teoría de la información, específicamente el principio de longitud de descripción mínima (MDL) . El principio MDL postula que el mejor modelo para un conjunto de datos es aquel que proporciona la codificación combinada más corta del modelo y los datos. En el contexto de los autoencoders , este principio se aplica para garantizar que la representación aprendida no solo sea compacta, sino también interpretable y eficiente para la reconstrucción.

El MDL-AE busca minimizar la longitud total de la descripción de los datos, que incluye el tamaño de la representación latente (longitud del código) y el error en la reconstrucción de los datos originales. El objetivo se puede expresar como ${\displaystyle L_{\text{code}}+L_{\text{error}}}$, dónde${\displaystyle L_{\text{code}}}$representa la longitud de la representación latente comprimida y${\displaystyle L_{\text{error}}}$denota el error de reconstrucción. ^{[ 18 ]}

El autoencoder concreto está diseñado para la selección discreta de características. ^{[ 19 ]} Un autoencoder concreto obliga al espacio latente a constar únicamente de un número de características especificado por el usuario. El autoencoder concreto utiliza una relajación continua de la distribución categórica para permitir que los gradientes atraviesen la capa de selección de características, lo que posibilita el uso de la retropropagación estándar para aprender un subconjunto óptimo de características de entrada que minimicen la pérdida de reconstrucción.

Geoffrey Hinton desarrolló la técnica de redes de creencias profundas para entrenar autoencoders profundos de múltiples capas. Su método consiste en tratar cada conjunto vecino de dos capas como una máquina de Boltzmann restringida , de modo que el preentrenamiento se aproxime a una buena solución, y luego utilizar la retropropagación para ajustar los resultados. ^{[ 10 ]}

Los investigadores han debatido si el entrenamiento conjunto (es decir, entrenar toda la arquitectura junto con un único objetivo de reconstrucción global para optimizar) sería mejor para los autoencoders profundos. ^{[ 21 ]} Un estudio de 2015 mostró que el entrenamiento conjunto aprende mejores modelos de datos junto con características más representativas para la clasificación en comparación con el método por capas. ^{[ 21 ]} Sin embargo, sus experimentos mostraron que el éxito del entrenamiento conjunto depende en gran medida de las estrategias de regularización adoptadas. ^{[ 21 ] [ 22 ]}

La reducción de dimensionalidad fue una de las primeras aplicaciones del aprendizaje profundo . ^{[ 2 ]}

Para el estudio de Hinton de 2006, ^{[ 10 ]} preentrenó un autoencoder multicapa con una pila de RBM y luego usó sus pesos para inicializar un autoencoder profundo con capas ocultas gradualmente más pequeñas hasta alcanzar un cuello de botella de 30 neuronas. Las 30 dimensiones resultantes del código produjeron un error de reconstrucción menor en comparación con los primeros 30 componentes de un análisis de componentes principales (PCA), y aprendió una representación que era cualitativamente más fácil de interpretar, separando claramente los grupos de datos. ^{[ 2 ] [ 10 ]}

La reducción de dimensiones puede mejorar el rendimiento en tareas como la clasificación. ^{[ 2 ]} De hecho, la característica distintiva de la reducción de dimensionalidad es colocar ejemplos semánticamente relacionados cerca unos de otros. ^{[ 38 ]}

Análisis de componentes principales

Si se utilizan activaciones lineales, o solo una única capa oculta sigmoide, entonces la solución óptima para un autoencoder está fuertemente relacionada con el análisis de componentes principales (PCA). ^{[ 29 ] [ 39 ]} Los pesos de un autoencoder con una única capa oculta de tamaño${\displaystyle p}$(dónde${\displaystyle p}$es menor que el tamaño de la entrada) abarcan el mismo subespacio vectorial que el abarcado por el primero${\displaystyle p}$componentes principales, y la salida del autoencoder es una proyección ortogonal sobre este subespacio. Los pesos del autoencoder no son iguales a los componentes principales, y generalmente no son ortogonales, sin embargo, los componentes principales pueden recuperarse a partir de ellos utilizando la descomposición en valores singulares . ^{[ 40 ]}

Sin embargo, el potencial de los autoencoders reside en su no linealidad, lo que permite que el modelo aprenda generalizaciones más potentes en comparación con PCA y que reconstruya la entrada con una pérdida de información significativamente menor. ^{[ 10 ]}

La recuperación de información se beneficia particularmente de la reducción de dimensionalidad, ya que la búsqueda puede volverse más eficiente en ciertos tipos de espacios de baja dimensión. De hecho, los autoencoders se aplicaron al hash semántico, propuesto por Salakhutdinov y Hinton en 2007. ^{[ 38 ]} Al entrenar el algoritmo para producir un código binario de baja dimensión, todas las entradas de la base de datos podrían almacenarse en una tabla hash que mapea vectores de código binario a entradas. Esta tabla luego admitiría la recuperación de información al devolver todas las entradas con el mismo código binario que la consulta, o entradas ligeramente menos similares al invertir algunos bits de la codificación de la consulta.

Otra aplicación para los autoencoders es la detección de anomalías . ^{[ 17 ] [ 41 ] [ 42 ] [ 43 ] [ 44 ] [ 45 ]} Al aprender a replicar las características más destacadas en los datos de entrenamiento bajo algunas de las restricciones descritas anteriormente, se anima al modelo a aprender a reproducir con precisión las características observadas con mayor frecuencia. Cuando se enfrenta a anomalías, el modelo debería empeorar su rendimiento de reconstrucción. En la mayoría de los casos, solo se utilizan datos con instancias normales para entrenar el autoencoder; en otros, la frecuencia de anomalías es pequeña en comparación con el conjunto de observaciones, por lo que su contribución a la representación aprendida podría ignorarse. Después del entrenamiento, el autoencoder reconstruirá con precisión los datos "normales", mientras que fallará al hacerlo con datos anómalos desconocidos. ^{[ 43 ]} El error de reconstrucción (el error entre los datos originales y su reconstrucción de baja dimensión) se utiliza como una puntuación de anomalía para detectar anomalías. ^{[ 43 ]} Normalmente, esto significa que en un conjunto de validación se registra la distribución empírica de los errores de reconstrucción y luego (por ejemplo) el percentil 95 empírico${\displaystyle x_{p}}$se toma como umbral${\displaystyle t:=x_{p}}$para marcar puntos de datos anómalos:${\displaystyle {\text{loss}}(x,{\text{reconstruction}}(x))>t\implies {\text{anomaly}}}$Dado que el umbral es una estimación de cuantil empírico , existe una dificultad inherente para establecer este umbral "correctamente": en muchos casos, la distribución del cuantil empírico es asintóticamente una distribución normal.${\displaystyle {\text{empirical p-quantile}}\sim {\mathcal {N}}\left(\mu =p,\sigma ^{2}={\frac {p(1-p)}{nf(x_{p})^{2}}}\right),}$con${\displaystyle f(x_{p})}$la densidad de probabilidad en el cuantil. Esto significa que la varianza crece si se considera un cuantil extremo (porque${\displaystyle f(x_{p})}$es pequeño allí). Esto significa que existe una incertidumbre potencialmente grande sobre cuál es la elección correcta para el umbral ya que se estima a partir de un conjunto de validación.

Sin embargo, la literatura reciente ha demostrado que ciertos modelos de autoencoders pueden, contraintuitivamente, ser muy buenos reconstruyendo ejemplos anómalos y, en consecuencia, no ser capaces de realizar una detección de anomalías fiable. ^{[ 46 ] [ 47 ]} Intuitivamente, esto se puede entender considerando aquellos autoencoders de una capa que están relacionados con PCA; también en este caso puede haber reconstrucciones perfectas para puntos que están lejos de la región de datos pero que se encuentran en un eje de componentes principales.

Lo mejor es analizar si las anomalías señaladas por el autoencoder son realmente anomalías. En este sentido, se pueden considerar todas las métricas de evaluación de clasificadores binarios . El principal desafío del aprendizaje no supervisado (autosupervisado) radica en que no existen etiquetas para eventos raros (en cuyo caso primero hay que recopilarlas, lo que provoca un desequilibrio en el conjunto de datos) o bien las etiquetas que indican anomalías son muy raras, lo que introduce intervalos de confianza más amplios para estas estimaciones de rendimiento.

Las características de los autoencoders son útiles en el procesamiento de imágenes.

Un ejemplo se puede encontrar en la compresión de imágenes con pérdida , donde los autoencoders superaron a otros enfoques y demostraron ser competitivos frente a JPEG 2000. ^{[ 48 ] [ 49 ]}

Otra aplicación útil de los autoencoders en el preprocesamiento de imágenes es la eliminación de ruido en las imágenes . ^{[ 50 ] [ 51 ] [ 52 ]}

Los autoencoders se han utilizado en contextos más exigentes, como la imagen médica, donde se han empleado para la reducción de ruido en imágenes ^{[ 53 ]} y para la superresolución ^{[ 54 ] [ 55 ]} . En el diagnóstico asistido por imágenes, se han aplicado autoencoders en experimentos para la detección del cáncer de mama ^{[ 56 ]} y para modelar la relación entre el deterioro cognitivo de la enfermedad de Alzheimer y las características latentes de un autoencoder entrenado con resonancia magnética ^{[ 57 ]} .

En 2019, las moléculas generadas con autoencoders variacionales fueron validadas experimentalmente en ratones. ^{[ 58 ] [ 59 ]}

Recientemente, un marco de autoencoder apilado produjo resultados prometedores en la predicción de la popularidad de las publicaciones en redes sociales, ^{[ 60 ]} lo cual es útil para las estrategias de publicidad en línea.

Los autoencoders se han aplicado a la traducción automática , que generalmente se denomina traducción automática neuronal (NMT). ^{[ 61 ] [ 62 ]} A diferencia de los autoencoders tradicionales, la salida no coincide con la entrada: está en otro idioma. En NMT, los textos se tratan como secuencias que se codifican en el procedimiento de aprendizaje, mientras que en el lado del decodificador se generan secuencias en el idioma o idiomas de destino. Los autoencoders específicos de cada idioma incorporan características lingüísticas adicionales en el procedimiento de aprendizaje, como las características de descomposición del chino. ^{[ 63 ]} La traducción automática rara vez se realiza con autoencoders, debido a la disponibilidad de redes transformadoras más efectivas .

Los autoencoders en los sistemas de comunicación son importantes porque ayudan a codificar los datos en una representación más robusta ante las deficiencias del canal, lo cual es crucial para transmitir información minimizando los errores. Además, los sistemas basados ​​en AE pueden optimizar el rendimiento de la comunicación de extremo a extremo. Este enfoque puede resolver varias limitaciones del diseño de sistemas de comunicación, como la dificultad inherente para modelar con precisión el comportamiento complejo de los canales del mundo real. ^{[ 64 ]}