Regularización de matrices

En el campo de la teoría del aprendizaje estadístico , la regularización matricial generaliza las nociones de regularización vectorial a casos donde el objeto a aprender es una matriz. El propósito de la regularización es imponer condiciones, por ejemplo, escasez o suavidad, que puedan producir funciones predictivas estables. Por ejemplo, en el marco vectorial más común, la regularización de Tikhonov optimiza sobre $${\displaystyle \min _{x}\left\|Ax-y\right\|^{2}+\lambda \left\|x\right\|^{2}}$$ para encontrar un vector${\displaystyle x}$Esa es una solución estable al problema de regresión. Cuando el sistema se describe mediante una matriz en lugar de un vector, este problema se puede escribir como $${\displaystyle \min _{X}\left\|AX-Y\right\|^{2}+\lambda \left\|X\right\|^{2},}$$ donde la norma vectorial impone una penalización de regularización en${\displaystyle x}$se ha extendido a una norma matricial en${\displaystyle X}$.

La regularización matricial tiene aplicaciones en la compleción de matrices , la regresión multivariante y el aprendizaje multitarea . Las ideas de selección de características y grupos también pueden extenderse a matrices, y estas pueden generalizarse al caso no paramétrico del aprendizaje de múltiples núcleos .

Consideremos una matriz${\displaystyle W}$para ser aprendido a partir de un conjunto de ejemplos,${\displaystyle S=(X_{i}^{t},y_{i}^{t})}$, dónde${\displaystyle i}$va desde${\displaystyle 1}$a${\displaystyle n}$, y${\displaystyle t}$va desde${\displaystyle 1}$a${\displaystyle T}$. Sea cada matriz de entrada${\displaystyle X_{i}}$ser${\displaystyle \in \mathbb {R} ^{DT}}$y dejar${\displaystyle W}$ser de tamaño${\displaystyle D\times T}$. Un modelo general para la salida${\displaystyle y}$puede plantearse como $${\displaystyle y_{i}^{t}=\left\langle W,X_{i}^{t}\right\rangle _{F},}$$ donde el producto interno es el producto interno de Frobenius . Para diferentes aplicaciones, las matrices${\displaystyle X_{i}}$tendrán diferentes formas, ^{[ 1 ]} pero para cada una de ellas el problema de optimización a inferir${\displaystyle W}$se puede escribir como $${\displaystyle \min _{W\in {\mathcal {H}}}E(W)+R(W),}$$ dónde${\displaystyle E}$define el error empírico para un dado${\displaystyle W}$, y${\displaystyle R(W)}$es una penalización de regularización matricial. La función${\displaystyle R(W)}$Por lo general, se elige que sea convexo y a menudo se selecciona para imponer escasez (usando${\displaystyle \ell ^{1}}$-normas) y/o suavidad (usando${\displaystyle \ell ^{2}}$-normas). Finalmente,${\displaystyle W}$está en el espacio de matrices${\displaystyle {\mathcal {H}}}$con producto interno de Frobenius${\displaystyle \langle \dots \rangle _ {F}}$.

La regularización mediante filtrado espectral se ha utilizado para encontrar soluciones estables a problemas como los mencionados anteriormente, abordando inversiones de matrices mal condicionadas (véase, por ejemplo, la función de filtro para la regularización de Tikhonov ). En muchos casos, la función de regularización actúa sobre la entrada (o núcleo) para garantizar una inversa acotada eliminando pequeños valores singulares, pero también puede ser útil contar con normas espectrales que actúen sobre la matriz que se va a aprender.

Existen diversas normas matriciales que actúan sobre los valores singulares de la matriz. Ejemplos de uso frecuente incluyen las normas p de Schatten , con p  =  1  o  2. Por ejemplo, la regularización matricial con una norma 1 de Schatten, también llamada norma nuclear, puede utilizarse para imponer la escasez en el espectro de una matriz . Esto se ha empleado en el contexto de la compleción de matrices cuando se considera que la matriz en cuestión tiene un rango restringido. ^{[ 2 ]} En este caso, el problema de optimización se convierte en: $${\displaystyle \min \left\|W\right\|_{*}~~{\text{ subject to }}~~W_{i,j}=Y_{ij}.}$$

La regularización espectral también se utiliza para imponer una matriz de coeficientes de rango reducido en la regresión multivariante. ^{[ 4 ]} En este contexto, se puede encontrar una matriz de coeficientes de rango reducido conservando solo los valores más altos.${\displaystyle n}$valores singulares, pero esto se puede extender para mantener cualquier conjunto reducido de valores singulares y vectores.

La optimización dispersa se ha convertido en el foco de mucho interés de investigación como una forma de encontrar soluciones que dependen de un pequeño número de variables (véase, por ejemplo, el método Lasso ). En principio, la dispersión de entrada a entrada se puede imponer penalizando la entrada a entrada.${\displaystyle \ell ^{0}}$-norma de la matriz, pero la${\displaystyle \ell ^{0}}$La norma -no es convexa. En la práctica, esto se puede implementar mediante relajación convexa a la${\displaystyle \ell ^{1}}$-norma. Mientras que la regularización por entradas con una${\displaystyle \ell ^{1}}$La norma - encontrará soluciones con un pequeño número de elementos distintos de cero, aplicando una${\displaystyle \ell ^{1}}$-La norma a diferentes grupos de variables puede imponer estructura en la escasez de soluciones. ^{[ 5 ]}

El ejemplo más sencillo de escasez estructurada utiliza el${\displaystyle \ell _{p,q}}$norma con${\displaystyle p=2}$y${\displaystyle q=1}$: $${\displaystyle \left\|W\right\|_{2,1}=\sum _{i}\left\|w_{i}\right\|_{2}.}$$

Por ejemplo, el${\displaystyle \ell _{2,1}}$La norma se utiliza en el aprendizaje multitarea para agrupar características entre tareas, de modo que todos los elementos de una fila dada de la matriz de coeficientes se pueden forzar a cero como grupo. ^{[ 6 ]} El efecto de agrupación se logra tomando la${\displaystyle \ell ^{2}}$-norma de cada fila, y luego tomando la penalización total como la suma de estas normas por fila. Esta regularización da como resultado filas que tenderán a ser todas ceros, o densas. El mismo tipo de regularización se puede utilizar para imponer la escasez por columna tomando la${\displaystyle \ell ^{2}}$-normas de cada columna.

En términos más generales, el${\displaystyle \ell _{2,1}}$La norma se puede aplicar a grupos arbitrarios de variables: $${\displaystyle R(W)=\lambda \sum _{g}^{G}{\sqrt {\sum _{j}^{|G_{g}|}\left|w_{g}^{j}\right|^{2}}}=\lambda \sum _{g}^{G}\left\|w_{g}\right\|_{g}}$$ donde el índice${\displaystyle g}$es a través de grupos de variables y${\displaystyle |G_{g}|}$indica la cardinalidad del grupo${\displaystyle g}$.

Los algoritmos para resolver estos problemas de escasez de grupo extienden los métodos Lasso y Lasso de grupo más conocidos al permitir grupos superpuestos, por ejemplo, y se han implementado a través de la búsqueda de coincidencia : ^{[ 7 ]} y métodos de gradiente proximal . ^{[ 8 ]} Al escribir el gradiente proximal con respecto a un coeficiente dado,${\displaystyle w_{g}^{i}}$, se puede ver que esta norma impone un umbral suave a nivel de grupo ^{[ 1 ]}$${\displaystyle \operatorname {prox} _{\lambda ,R_{g}}\left(w_{g}\right)^{i}=\left(w_{g}^{i}-\lambda {\frac {w_{g}^{i}}{\left\|w_{g}\right\|_{g}}}\right)\mathbf {1} _{\|w_{g}\|_{g}\geq \lambda }.}$$ dónde${\displaystyle \mathbf {1} _{\|w_{g}\|_{g}\geq \lambda }}$es la función indicadora para las normas del grupo${\displaystyle \geq \lambda }$.

Por lo tanto, utilizando${\displaystyle \ell _{2,1}}$Es sencillo imponer una estructura en la escasez de una matriz, ya sea por filas, por columnas o en bloques arbitrarios. Al imponer normas de grupo en bloques en regresión multivariante o multitarea, por ejemplo, es posible encontrar grupos de variables de entrada y salida, de modo que subconjuntos definidos de variables de salida (columnas en la matriz)${\displaystyle Y}$) dependerá del mismo conjunto disperso de variables de entrada.

Las ideas de escasez estructurada y selección de características pueden extenderse al caso no paramétrico del aprendizaje de múltiples núcleos . ^{[ 9 ]} Esto puede ser útil cuando hay varios tipos de datos de entrada (color y textura, por ejemplo) con diferentes núcleos apropiados para cada uno, o cuando se desconoce el núcleo apropiado. Si hay dos núcleos, por ejemplo, con mapas de características${\displaystyle A}$y${\displaystyle B}$que se encuentran en espacios de Hilbert de núcleo reproductor correspondientes${\displaystyle {\mathcal {H_{A}}},{\mathcal {H_{B}}}}$, luego un espacio más grande,${\displaystyle {\mathcal {H_{D}}}}$, se puede crear como la suma de dos espacios: $${\displaystyle {\mathcal {H_{D}}}:f=h+h';h\in {\mathcal {H_{A}}},h'\in {\mathcal {H_{B}}}}$$ suponiendo independencia lineal en${\displaystyle A}$y${\displaystyle B}$. En este caso el${\displaystyle \ell _{2,1}}$-La norma es de nuevo la suma de normas: $${\displaystyle \left\|f\right\|_{{\mathcal {H_{D}}},1}=\left\|h\right\|_{\mathcal {H_{A}}}+\left\|h'\right\|_{\mathcal {H_{B}}}}$$

Así, al elegir una función de regularización matricial como este tipo de norma, es posible encontrar una solución dispersa en cuanto a los núcleos utilizados, pero densa en el coeficiente de cada núcleo. El aprendizaje con múltiples núcleos también puede utilizarse como una forma de selección de variables no lineal o como una técnica de agregación de modelos (por ejemplo, sumando las normas al cuadrado y relajando las restricciones de dispersión). Por ejemplo, cada núcleo puede ser un núcleo gaussiano con un ancho diferente.

• Regularización (matemáticas)