Supervisión deficiente

Los puntos que están cerca unos de otros tienen más probabilidades de compartir una etiqueta. Esto también se asume generalmente en el aprendizaje supervisado y produce una preferencia por límites de decisión geométricamente simples . En el caso del aprendizaje semisupervisado, la suposición de suavidad produce además una preferencia por límites de decisión en regiones de baja densidad, de modo que pocos puntos están cerca unos de otros pero pertenecen a clases diferentes. ^{[ 3 ]}

Los datos tienden a formar grupos discretos, y es más probable que los puntos de un mismo grupo compartan una etiqueta (aunque los datos que comparten una etiqueta pueden estar distribuidos en varios grupos). Este es un caso especial del supuesto de suavidad y da lugar al aprendizaje de características mediante algoritmos de agrupamiento.

Los datos se ubican aproximadamente en una variedad de dimensión mucho menor que el espacio de entrada. En este caso, aprender la variedad utilizando tanto los datos etiquetados como los no etiquetados permite evitar la maldición de la dimensionalidad . Posteriormente, el aprendizaje puede continuar utilizando distancias y densidades definidas en la variedad.

La suposición de variedad resulta práctica cuando se generan datos de alta dimensión mediante algún proceso que puede ser difícil de modelar directamente, pero que posee pocos grados de libertad. Por ejemplo, la voz humana está controlada por unas pocas cuerdas vocales ^{[ 4 ]} , y las imágenes de diversas expresiones faciales están controladas por unos pocos músculos. En estos casos, es preferible considerar las distancias y la suavidad en el espacio natural del problema generador, en lugar de en el espacio de todas las posibles ondas acústicas o imágenes, respectivamente.

Los enfoques generativos para el aprendizaje estadístico buscan primero estimar${\displaystyle p(x|y)}$, la distribución de los puntos de datos pertenecientes a cada clase. La probabilidad${\displaystyle p(y|x)}$que un punto determinado${\displaystyle x}$tiene etiqueta${\displaystyle y}$es entonces proporcional a${\displaystyle p(x|y)p(y)}$por la regla de Bayes . El aprendizaje semisupervisado con modelos generativos puede verse como una extensión del aprendizaje supervisado (clasificación más información sobre${\displaystyle p(x)}$) o como una extensión del aprendizaje no supervisado (agrupamiento más algunas etiquetas).

Los modelos generativos suponen que las distribuciones adoptan alguna forma particular.${\displaystyle p(x|y,\theta )}$parametrizado por el vector${\displaystyle \theta }$Si estas suposiciones son incorrectas, los datos sin etiquetar podrían disminuir la precisión de la solución en comparación con la que se habría obtenido solo con datos etiquetados. ^{[ 8 ]} Sin embargo, si las suposiciones son correctas, los datos sin etiquetar necesariamente mejoran el rendimiento. ^{[ 7 ]}

Los datos sin etiquetar se distribuyen según una mezcla de distribuciones de clases individuales. Para aprender la distribución de la mezcla a partir de los datos sin etiquetar, esta debe ser identificable; es decir, diferentes parámetros deben generar diferentes distribuciones sumadas. Las distribuciones de mezcla gaussiana son identificables y se utilizan comúnmente en modelos generativos.

La distribución conjunta parametrizada se puede escribir como${\displaystyle p(x,y|\theta )=p(y|\theta )p(x|y,\theta )}$mediante el uso de la regla de la cadena . Cada vector de parámetros${\displaystyle \theta }$está asociado con una función de decisión${\displaystyle f_{\theta }(x)={\underset {y}{\operatorname {argmax} }}\ p(y|x,\theta )}$El parámetro se elige entonces en función del ajuste a los datos etiquetados y no etiquetados, ponderado por${\displaystyle \lambda }$:

${\displaystyle {\underset {\Theta }{\operatorname {argmax} }}\left(\log p(\{x_{i},y_{i}\}_{i=1}^{l}|\theta )+\lambda \log p(\{x_{i}\}_{i=l+1}^{l+u}|\theta )\right)}$^{[ 9 ]}

Otra clase importante de métodos intenta colocar límites en regiones con pocos puntos de datos (etiquetados o sin etiquetar). Uno de los algoritmos más utilizados es la máquina de vectores de soporte transductiva , o TSVM (que, a pesar de su nombre, también puede utilizarse para el aprendizaje inductivo). Mientras que las máquinas de vectores de soporte para el aprendizaje supervisado buscan un límite de decisión con margen máximo sobre los datos etiquetados, el objetivo de la TSVM es etiquetar los datos sin etiquetar de tal manera que el límite de decisión tenga margen máximo sobre todos los datos. Además de la pérdida de bisagra estándar${\displaystyle (1-yf(x))_{+}}$para datos etiquetados, una función de pérdida${\displaystyle (1-|f(x)|)_{+}}$se introduce sobre los datos no etiquetados dejando${\displaystyle y=\operatorname {sign} {f(x)}}$TSVM luego selecciona${\displaystyle f^{*}(x)=h^{*}(x)+b}$desde un espacio de Hilbert de núcleo reproductor${\displaystyle {\mathcal {H}}}$minimizando el riesgo empírico regularizado :

${\displaystyle f^{*}={\underset {f}{\operatorname {argmin} }}\left(\displaystyle \sum _{i=1}^{l}(1-y_{i}f(x_{i}))_{+}+\lambda _{1}\|h\|_{\mathcal {H}}^{2}+\lambda _{2}\sum _{i=l+1}^{l+u}(1-|f(x_{i})|)_{+}\right)}$

Una solución exacta es intratable debido al término no convexo .${\displaystyle (1-|f(x)|)_{+}}$, por lo que la investigación se centra en aproximaciones útiles. ^{[ 9 ]}

Otros enfoques que implementan la separación de baja densidad incluyen modelos de procesos gaussianos, regularización de la información y minimización de la entropía (de los cuales TSVM es un caso especial).

La regularización laplaciana se ha abordado históricamente a través del laplaciano de grafos. Los métodos basados ​​en grafos para el aprendizaje semisupervisado utilizan una representación gráfica de los datos, con un nodo para cada ejemplo etiquetado y no etiquetado. El grafo puede construirse utilizando el conocimiento del dominio o la similitud de los ejemplos; dos métodos comunes son conectar cada punto de datos con su${\displaystyle k}$vecinos más cercanos o ejemplos a cierta distancia${\displaystyle \epsilon }$El peso${\displaystyle W_{ij}}$de un borde entre${\displaystyle x_{i}}$y${\displaystyle x_{j}}$entonces se establece en${\displaystyle e^{-\|x_{i}-x_{j}\|^{2}/\epsilon ^{2}}}$.

Dentro del marco de la regularización de variedades , ^{[ 10 ] [ 11 ]} el grafo sirve como una aproximación de la variedad. Se agrega un término al problema estándar de regularización de Tikhonov para imponer suavidad a la solución con respecto a la variedad (en el espacio intrínseco del problema), así como con respecto al espacio de entrada ambiental. El problema de minimización se convierte en

${\displaystyle {\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left({\frac {1}{l}}\displaystyle \sum _{i=1}^{l}V(f(x_{i}),y_{i})+\lambda _{A}\|f\|_{\mathcal {H}}^{2}+\lambda _{I}\int _{\mathcal {M}}\|\nabla _{\mathcal {M}}f(x)\|^{2}dp(x)\right)}$^{[ 9 ]}

dónde${\displaystyle {\mathcal {H}}}$es un espacio de Hilbert con núcleo reproductor y${\displaystyle {\mathcal {M}}}$es la variedad en la que se encuentran los datos. Los parámetros de regularización${\displaystyle \lambda _{A}}$y${\displaystyle \lambda _{I}}$Controlar la suavidad en los espacios ambiente e intrínseco respectivamente. El gráfico se utiliza para aproximar el término de regularización intrínseca. Definición del laplaciano del gráfico${\displaystyle L=DW}$dónde${\displaystyle D_{ii}=\sum _{j=1}^{l+u}W_{ij}}$y${\displaystyle \mathbf {f} }$es el vector${\displaystyle [f(x_{1})\dots f(x_{l+u})]}$, tenemos

${\displaystyle \mathbf {f} ^{T}L\mathbf {f} =\displaystyle \sum _{i,j=1}^{l+u}W_{ij}(f_{i}-f_{j})^{2}\approx \int _{\mathcal {M}}\|\nabla _{\mathcal {M}}f(x)\|^{2}dp(x)}$.

El enfoque basado en grafos para la regularización laplaciana consiste en relacionarlo con el método de diferencias finitas .

El laplaciano también se puede utilizar para extender los algoritmos de aprendizaje supervisado: mínimos cuadrados regularizados y máquinas de vectores de soporte (SVM) a versiones semisupervisadas: mínimos cuadrados regularizados laplacianos y SVM laplaciano.

Algunos métodos de aprendizaje semisupervisado no están intrínsecamente orientados a aprender tanto de datos etiquetados como no etiquetados, sino que utilizan datos no etiquetados dentro de un marco de aprendizaje supervisado. Por ejemplo, los ejemplos etiquetados y no etiquetados.${\displaystyle x_{1},\dots ,x_{l+u}}$puede informar la elección de una representación, métrica de distancia o núcleo para los datos en un primer paso no supervisado. Luego, el aprendizaje supervisado procede solo a partir de los ejemplos etiquetados. En este sentido, algunos métodos aprenden una representación de baja dimensión utilizando los datos supervisados ​​y luego aplican métodos de separación de baja densidad o basados ​​en grafos a la representación aprendida. ^{[ 12 ] [ 13 ]} Refinar iterativamente la representación y luego realizar un aprendizaje semisupervisado sobre dicha representación puede mejorar aún más el rendimiento.

El autoaprendizaje es un método de envoltura para el aprendizaje semisupervisado. ^{[ 14 ]} Primero, se entrena un algoritmo de aprendizaje supervisado basado únicamente en los datos etiquetados. Este clasificador se aplica luego a los datos no etiquetados para generar más ejemplos etiquetados como entrada para el algoritmo de aprendizaje supervisado. Generalmente, solo se agregan en cada paso las etiquetas en las que el clasificador tiene mayor confianza. ^{[ 15 ]} En el procesamiento del lenguaje natural, un algoritmo de autoaprendizaje común es el algoritmo de Yarowsky para problemas como la desambiguación del sentido de las palabras, la restauración del acento y la corrección ortográfica. ^{[ 16 ]}

El co-entrenamiento es una extensión del auto-entrenamiento en la que múltiples clasificadores se entrenan en conjuntos de características diferentes (idealmente disjuntos) y generan ejemplos etiquetados unos para otros. ^{[ 17 ]}