Incrustación de núcleos de distribuciones

La incrustación del núcleo de la distribución${\displaystyle P}$en${\displaystyle {\mathcal {H}}}$(también llamado media del núcleo o mapa de medias ) viene dado por: ^{[ 1 ]}

${\displaystyle \mu _{X}:=\mathbb {E} [k(X,\cdot )]=\mathbb {E} [\varphi (X)]=\int _{\Omega }\varphi (x)\ \mathrm {d} P(x)}$

Si${\displaystyle P}$permite una densidad integrable al cuadrado${\displaystyle p}$, entonces${\displaystyle \mu _{X}={\mathcal {E}}_{k}p}$, dónde${\displaystyle {\mathcal {E}}_{k}}$es el operador integral de Hilbert-Schmidt . Un núcleo es característico si la incrustación media${\displaystyle \mu$ :\{{\text{familia de distribuciones sobre }}\Omega \}\to {\mathcal {H}}} es inyectiva. ^{[ 7 ]} Cada distribución puede, por lo tanto, representarse de forma única en el RKHS y todas las características estadísticas de las distribuciones se conservan mediante la incrustación del núcleo si se utiliza un núcleo característico.

Dado${\displaystyle n}$ejemplos de capacitación${\displaystyle \{x_{1},\ldots ,x_{n}\}}$extraído de forma independiente e idénticamente distribuida (iid) de${\displaystyle P,}$la incrustación del núcleo de${\displaystyle P}$puede estimarse empíricamente como

${\displaystyle {\widehat {\mu }}_{X}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})}$

Si${\displaystyle Y}$denota otra variable aleatoria (para simplificar, supongamos el codominio de${\displaystyle Y}$también lo es${\displaystyle \Omega }$con el mismo kernel${\displaystyle k}$lo cual satisface${\displaystyle \langle \varphi (x)\otimes \varphi (y),\varphi (x')\otimes \varphi (y')\rangle =k(x,x')k(y,y')}$), entonces la distribución conjunta${\displaystyle P(x,y))}$se puede mapear en un espacio de características de producto tensorial${\displaystyle {\mathcal {H}}\otimes {\mathcal {H}}}$vía ^{[ 2 ]}

${\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\varphi (X)\otimes \varphi (Y)]=\int _{\Omega \times \Omega }\varphi (x)\otimes \varphi (y)\ \mathrm {d} P(x,y)}$

Debido a la equivalencia entre un tensor y una aplicación lineal , esta incrustación conjunta puede interpretarse como un operador de covarianza cruzada no centrado.${\displaystyle {\mathcal {C}}_{XY}:{\mathcal {H}}\to {\mathcal {H}}}$de la cual la covarianza cruzada de funciones${\displaystyle f,g\in {\mathcal {H}}}$se puede calcular como ^{[ 8 ]}

${\displaystyle \operatorname {Cov} (f(X),g(Y)):=\mathbb {E} [f(X)g(Y)]-\mathbb {E} [f(X)]\mathbb {E} [g(Y)]=\langle f,{\mathcal {C}}_{XY}g\rangle _{\mathcal {H}}=\langle f\otimes g,{\mathcal {C}}_{XY}\rangle _{{\mathcal {H}}\otimes {\mathcal {H}}}}$

Dado${\displaystyle n}$pares de ejemplos de entrenamiento${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$extraído iid de${\displaystyle P}$, también podemos estimar empíricamente la incrustación del núcleo de distribución conjunta mediante

${\displaystyle {\widehat {\mathcal {C}}}_{XY}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})\otimes \varphi (y_{i})}$

Dada una distribución condicional${\displaystyle P(y\mid x),}$uno puede definir la incrustación RKHS correspondiente como ^{[ 2 ]}

${\displaystyle \mu _{Y\mid x}=\mathbb {E} [\varphi (Y)\mid X]=\int _{\Omega }\varphi (y)\ \mathrm {d} P(y\mid x)}$

Tenga en cuenta que la incrustación de${\displaystyle P(y\mid x)}$De esta forma se define una familia de puntos en el RKHS indexados por los valores${\displaystyle x}$tomada por la variable de condicionamiento${\displaystyle X}$. Al arreglar${\displaystyle X}$a un valor particular, obtenemos un único elemento en${\displaystyle {\mathcal {H}}}$y por lo tanto es natural definir el operador

${\displaystyle {\begin{cases}{\mathcal {C}}_{Y\mid X}:{\mathcal {H}}\to {\mathcal {H}}\\{\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX}^{-1}\end{cases}}}$

lo cual, dado el mapeo de características de${\displaystyle x}$genera la incrustación condicional de${\displaystyle Y}$dado${\displaystyle X=x.}$Suponiendo que para todos${\displaystyle g\in {\mathcal {H}}:\mathbb {E} [g(Y)\mid X]\in {\mathcal {H}},}$Se puede demostrar que ^{[ 8 ]}

${\displaystyle \mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)}$

Esta suposición siempre es cierta para dominios finitos con núcleos característicos, pero puede no ser necesariamente cierta para dominios continuos. ^{[ 2 ]} Sin embargo, incluso en los casos en que la suposición falla,${\displaystyle {\mathcal {C}}_{Y\mid X}\varphi (x)}$aún puede utilizarse para aproximar la incrustación del núcleo condicional${\displaystyle \mu _{Y\mid x},}$y en la práctica, el operador de inversión se reemplaza por una versión regularizada de sí mismo.${\displaystyle ({\mathcal {C}}_{XX}+\lambda \mathbf {I} )^{-1}}$(dónde${\displaystyle \mathbf {I} }$denota la matriz identidad ).

Dados los ejemplos de entrenamiento${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\},}$El operador de incrustación condicional del núcleo empírico puede estimarse como ^{[ 2 ].}

${\displaystyle {\widehat {C}}_{Y\mid X}={\boldsymbol {\Phi }}(\mathbf {K} +\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}^{T}}$

dónde${\displaystyle {\boldsymbol {\Phi }}=\left(\varphi (y_{1}),\dots ,\varphi (y_{n})\right),{\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\dots ,\varphi (x_{n})\right)}$son matrices de características formadas implícitamente,${\displaystyle \mathbf {K} ={\boldsymbol {\Upsilon }}^{T}{\boldsymbol {\Upsilon }}}$es la matriz de Gram para muestras de${\displaystyle X}$, y${\displaystyle \lambda }$es un parámetro de regularización necesario para evitar el sobreajuste .

Por lo tanto, la estimación empírica de la incrustación condicional del núcleo viene dada por una suma ponderada de muestras de${\displaystyle Y}$en el espacio de características:

${\displaystyle {\widehat {\mu }}_{Y\mid x}=\sum _{i=1}^{n}\beta _{i}(x)\varphi (y_{i})={\boldsymbol {\Phi }}{\boldsymbol {\beta }}(x)}$

dónde${\displaystyle {\boldsymbol {\beta }}(x)=(\mathbf {K} +\lambda \mathbf {I} )^{-1}\mathbf {K} _{x}}$y${\displaystyle \mathbf {K} _{x}=\left(k(x_{1},x),\dots ,k(x_{n},x)\right)^{T}}$

• Si${\displaystyle k}$se define de tal manera que${\displaystyle f}$toma valores en${\displaystyle [0,1]}$a pesar de${\displaystyle f\in {\mathcal {H}}}$con${\displaystyle \|f\|_{\mathcal {H}}\leq 1}$(como es el caso de los núcleos de funciones de base radial ampliamente utilizados ), entonces con una probabilidad al menos${\displaystyle 1-\delta }$: ^{[ 6 ]}

${\displaystyle \|\mu _{X}-{\widehat {\mu }}_{X}\|_{\mathcal {H}}=\sup _{f\in {\mathcal {B}}(0,1)}\left|\mathbb {E} [f(X)]-{\frac {1}{n}}\sum _{i=1}^{n}f(x_{i})\right|\leq {\frac {2}{n}}\mathbb {E} \left[{\sqrt {\operatorname {tr} K}}\right]+{\sqrt {\frac {\log(2/\delta )}{2n}}}}$

dónde${\displaystyle {\mathcal {B}}(0,1)}$denota la bola de la unidad en${\displaystyle {\mathcal {H}}}$y${\displaystyle \mathbf {K} =(k_{ij})}$es la matriz de Gram con${\displaystyle k_{ij}=k(x_{i},x_{j}).}$

• La tasa de convergencia (en norma RKHS) de la incrustación del núcleo empírico a su contraparte de distribución es${\displaystyle O(n^{-1/2})}$y no depende de la dimensión de${\displaystyle X}$.
• Las estadísticas basadas en incrustaciones de núcleo evitan así la maldición de la dimensionalidad , y aunque la verdadera distribución subyacente es desconocida en la práctica, se puede (con alta probabilidad) obtener una aproximación dentro de${\displaystyle O(n^{-1/2})}$de la verdadera incrustación del núcleo basada en una muestra finita de tamaño${\displaystyle n}$.
• Para la incrustación de distribuciones condicionales, la estimación empírica puede verse como un promedio ponderado de asignaciones de características (donde los pesos${\displaystyle \beta _{i}(x)}$depende del valor de la variable de condicionamiento y captura el efecto del condicionamiento en la incrustación del núcleo). En este caso, la estimación empírica converge a la incrustación RKHS de distribución condicional con tasa${\displaystyle O\left(n^{-1/4}\right)}$si el parámetro de regularización${\displaystyle \lambda }$se reduce a medida que${\displaystyle O\left(n^{-1/2}\right),}$aunque se pueden lograr tasas de convergencia más rápidas al establecer supuestos adicionales sobre la distribución conjunta. ^{[ 2 ]}

• Dejar${\displaystyle {\mathcal {X}}\subseteq \mathbb {R} ^{b}}$ser un espacio métrico compacto y${\displaystyle C({\mathcal {X}})}$el conjunto de funciones continuas . El núcleo reproductor${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$ Se denomina universal si y solo si el RKHS${\displaystyle {\mathcal {H}}}$de${\displaystyle k}$es denso en${\displaystyle C({\mathcal {X}})}$, es decir, para cualquier${\displaystyle g\in C({\mathcal {X}})}$y todo ${\displaystyle \varepsilon >0}$existe un${\displaystyle f\in {\mathcal {H}}}$de tal manera que${\displaystyle \|f-g\|_{\infty }\leq \varepsilon }$. ^{[ 9 ]} Todos los núcleos universales definidos en un espacio compacto son núcleos característicos, pero lo contrario no siempre es cierto. ^{[ 10 ]}
• Dejar${\displaystyle k}$ser un núcleo continuo invariante a la traslación${\displaystyle k(x,x')=h(x-x')}$con${\displaystyle x\in \mathbb {R} ^{b}}$Entonces, el teorema de Bochner garantiza la existencia de una medida de Borel finita única.${\displaystyle \mu }$(llamada medida espectral ) en${\displaystyle \mathbb {R} ^{b}}$de tal manera que

${\displaystyle h(t)=\int _{\mathbb {R} ^{b}}e^{-i\langle t,\omega \rangle }d\mu (\omega ),\quad \forall t\in \mathbb {R} ^{b}.}$

Para${\displaystyle k}$para ser universal basta con que la parte continua de${\displaystyle \mu }$en su singular descomposición de Lebesgue${\displaystyle \mu =\mu _{c}+\mu _{s}}$es distinto de cero. Además, si

${\displaystyle d\mu _{c}(\omega )=s(\omega )d\omega ,}$

entonces${\displaystyle s}$es la densidad espectral de frecuencias${\displaystyle \omega }$en${\displaystyle \mathbb {R} ^{b}}$y${\displaystyle h}$es la transformada de Fourier de${\displaystyle s}$. Si el apoyo de${\displaystyle \mu }$es todo de${\displaystyle \mathbb {R} ^{b}}$, entonces${\displaystyle k}$es también un núcleo característico. ^{[ 11 ] [ 12 ] [ 13 ]}

• Si${\displaystyle k}$Si induce una matriz de núcleo estrictamente definida positiva para cualquier conjunto de puntos distintos, entonces es un núcleo universal. ^{[ 6 ]} Por ejemplo, el núcleo RBF gaussiano ampliamente utilizado

${\displaystyle k(x,x')=\exp \left(-{\frac {1}{2\sigma ^{2}}}\|x-x'\|^{2}\right)}$

en subconjuntos compactos de${\displaystyle \mathbb {R} ^{b}}$es universal.

• El operador de incrustación de distribución condicional del núcleo empírico${\displaystyle {\widehat {\mathcal {C}}}_{Y|X}}$Alternativamente, puede verse como la solución del siguiente problema de regresión de mínimos cuadrados regularizados (con valores de función) ^{[ 14 ].}

${\displaystyle \min _{{\mathcal {C}}:{\mathcal {H}}\to {\mathcal {H}}}\sum _{i=1}^{n}\left\|\varphi (y_{i})-{\mathcal {C}}\varphi (x_{i})\right\|_{\mathcal {H}}^{2}+\lambda \|{\mathcal {C}}\|_{HS}^{2}}$

dónde${\displaystyle \|\cdot \|_{HS}}$es la norma de Hilbert-Schmidt .

• De este modo, se puede seleccionar el parámetro de regularización.${\displaystyle \lambda }$mediante la realización de una validación cruzada basada en la función de pérdida al cuadrado del problema de regresión.

En teoría de la probabilidad , la distribución marginal de${\displaystyle X}$se puede calcular integrando${\displaystyle Y}$de la densidad conjunta (incluida la distribución previa en${\displaystyle Y}$)

${\displaystyle Q(X)=\int _{\Omega }P(X\mid Y)\,\mathrm {d} \pi (Y)}$

El análogo de esta regla en el marco de incrustación de kernel establece que${\displaystyle \mu _{X}^{\pi },}$la incrustación RKHS de${\displaystyle Q(X)}$, se puede calcular mediante

${\displaystyle \mu _{X}^{\pi }=\mathbb {E} [{\mathcal {C}}_{X\mid Y}\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mathbb {E} [\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mu _{Y}^{\pi }}$

dónde${\displaystyle \mu _{Y}^{\pi }}$es la incrustación del núcleo de${\displaystyle \pi (Y).}$En las implementaciones prácticas, la regla de suma del núcleo toma la siguiente forma:

${\displaystyle {\widehat {\mu }}_{X}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mu }}_{Y}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}}$

dónde

${\displaystyle \mu _{Y}^{\pi }=\sum _{i=1}^{\widetilde {n}}\alpha _{i}\varphi ({\widetilde {y}}_{i})}$

es la incrustación del núcleo empírico de la distribución previa,${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{\widetilde {n}})^{T},}$${\displaystyle {\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\ldots ,\varphi (x_{n})\right)}$, y${\displaystyle \mathbf {G} ,{\widetilde {\mathbf {G} }}}$son matrices de Gram con entradas${\displaystyle \mathbf {G} _{ij}=k(y_{i},y_{j}),{\widetilde {\mathbf {G} }}_{ij}=k(y_{i},{\widetilde {y}}_{j})}$respectivamente.

En teoría de la probabilidad, una distribución conjunta puede factorizarse en un producto entre distribuciones condicionales y marginales.

${\displaystyle Q(X,Y)=P(X\mid Y)\pi (Y)}$

El análogo de esta regla en el marco de incrustación de kernel establece que${\displaystyle {\mathcal {C}}_{XY}^{\pi },}$la incrustación conjunta de${\displaystyle Q(X,Y),}$puede factorizarse como una composición del operador de incrustación condicional con el operador de autocovarianza asociado con${\displaystyle \pi (Y)}$

${\displaystyle {\mathcal {C}}_{XY}^{\pi }={\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }}$

dónde

${\displaystyle {\mathcal {C}}_{XY}^{\pi }=\mathbb {E} [\varphi (X)\otimes \varphi (Y)],}$

${\displaystyle {\mathcal {C}}_{YY}^{\pi }=\mathbb {E} [\varphi (Y)\otimes \varphi (Y)].}$

En las implementaciones prácticas, la regla de la cadena del kernel toma la siguiente forma:

${\displaystyle {\widehat {\mathcal {C}}}_{XY}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mathcal {C}}}_{YY}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}){\boldsymbol {\widetilde {\Phi }}}^{T}}$

En teoría de la probabilidad, una distribución posterior puede expresarse en términos de una distribución previa y una función de verosimilitud como

${\displaystyle Q(Y\mid x)={\frac {P(x\mid Y)\pi (Y)}{Q(x)}}}$dónde${\displaystyle Q(x)=\int _{\Omega }P(x\mid y)\,\mathrm {d} \pi (y)}$

El análogo de esta regla en el marco de incrustación de núcleo expresa la incrustación de núcleo de la distribución condicional en términos de operadores de incrustación condicional que son modificados por la distribución previa.

${\displaystyle \mu _{Y\mid x}^{\pi }={\mathcal {C}}_{Y\mid X}^{\pi }\varphi (x)={\mathcal {C}}_{YX}^{\pi }\left({\mathcal {C}}_{XX}^{\pi }\right)^{-1}\varphi (x)}$

de donde proviene la regla de la cadena:

${\displaystyle {\mathcal {C}}_{YX}^{\pi }=\left({\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }\right)^{T}.}$

En las implementaciones prácticas, la regla de Bayes del núcleo toma la siguiente forma:

${\displaystyle {\widehat {\mu }}_{Y\mid x}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }\varphi (x)={\widetilde {\boldsymbol {\Phi }}}{\boldsymbol {\Lambda }}^{T}\left((\mathbf {D} \mathbf {K} )^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {K} \mathbf {D} \mathbf {K} _{x}}$

dónde

${\displaystyle {\boldsymbol {\Lambda }}=\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}),\qquad \mathbf {D} =\operatorname {diag} \left(\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}\right).}$

En este marco se utilizan dos parámetros de regularización:${\displaystyle \lambda }$para la estimación de${\displaystyle {\widehat {\mathcal {C}}}_{YX}^{\pi },{\widehat {\mathcal {C}}}_{XX}^{\pi }={\boldsymbol {\Upsilon }}\mathbf {D} {\boldsymbol {\Upsilon }}^{T}}$y${\displaystyle {\widetilde {\lambda }}}$para la estimación del operador de incrustación condicional final

${\displaystyle {\widehat {\mathcal {C}}}_{Y\mid X}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}^{\pi }\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }.}$

Esta última regularización se realiza sobre el cuadrado de${\displaystyle {\widehat {\mathcal {C}}}_{XX}^{\pi }}$porque${\displaystyle D}$puede que no sea positivo definido .

La discrepancia media máxima (DMM) es una medida de distancia entre distribuciones.${\displaystyle P(X)}$y${\displaystyle Q(Y)}$que se define como la distancia entre sus incrustaciones en el RKHS ^{[ 6 ]}

${\displaystyle {\text{MMD}}(P,Q)=\left\|\mu _{X}-\mu _{Y}\right\|_{\mathcal {H}}.}$

Si bien la mayoría de las medidas de distancia entre distribuciones, como la divergencia de Kullback-Leibler, ampliamente utilizada , requieren estimación de densidad (paramétrica o no paramétrica) o estrategias de partición espacial/corrección de sesgo, ^{[ 6 ]} la MMD se estima fácilmente como una media empírica que se concentra alrededor del valor verdadero de la MMD. La caracterización de esta distancia como la discrepancia media máxima se refiere al hecho de que calcular la MMD es equivalente a encontrar la función RKHS que maximiza la diferencia en las expectativas entre las dos distribuciones de probabilidad.

${\displaystyle {\text{MMD}}(P,Q)=\sup _{\|f\|_{\mathcal {H}}\leq 1}\left(\mathbb {E} [f(X)]-\mathbb {E} [f(Y)]\right),}$

una forma de métrica de probabilidad integral .

Dados n ejemplos de entrenamiento de${\displaystyle P(X)}$y m muestras de${\displaystyle Q(Y)}$Se puede formular un estadístico de prueba basado en la estimación empírica de la MMD.

${\displaystyle {\begin{aligned}{\widehat {\text{MMD}}}(P,Q)&=\left\|{\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})-{\frac {1}{m}}\sum _{i=1}^{m}\varphi (y_{i})\right\|_{\mathcal {H}}^{2}\\[5pt]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}k(x_{i},x_{j})+{\frac {1}{m^{2}}}\sum _{i=1}^{m}\sum _{j=1}^{m}k(y_{i},y_{j})-{\frac {2}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},y_{j})\end{aligned}}}$

para obtener una prueba de dos muestras ^{[ 15 ]} de la hipótesis nula de que ambas muestras provienen de la misma distribución (es decir,${\displaystyle P=Q}$) frente a la alternativa amplia${\displaystyle P\neq Q}$. Una prueba basada en MMD fue la primera prueba que demostró ser asintóticamente óptima para pruebas de hipótesis de dos muestras. ^{[ 16 ]}

Aunque los algoritmos de aprendizaje en el marco de incrustación de kernel evitan la necesidad de una estimación de densidad intermedia, no obstante se puede utilizar la incrustación empírica para realizar una estimación de densidad basada en n muestras extraídas de una distribución subyacente.${\displaystyle P_{X}^{*}}$Esto se puede hacer resolviendo el siguiente problema de optimización ^{[ 6 ] [ 17 ]}

${\displaystyle \max _{P_{X}}H(P_{X})}$sujeto a${\displaystyle \|{\widehat {\mu }}_{X}-\mu _{X}[P_{X}]\|_{\mathcal {H}}\leq \varepsilon }$

donde la maximización se realiza sobre todo el espacio de distribuciones en${\displaystyle \Omega .}$Aquí,${\displaystyle \mu _{X}[P_{X}]}$es la incrustación del núcleo de la densidad propuesta${\displaystyle P_{X}}$y${\displaystyle H}$es una magnitud similar a la entropía (por ejemplo, entropía , divergencia KL , divergencia de Bregman ). La distribución que resuelve esta optimización puede interpretarse como un compromiso entre ajustar bien las medias del núcleo empírico de las muestras, al tiempo que se asigna una porción sustancial de la masa de probabilidad a todas las regiones del espacio de probabilidad (muchas de las cuales pueden no estar representadas en los ejemplos de entrenamiento). En la práctica, se puede encontrar una buena solución aproximada de la difícil optimización restringiendo el espacio de densidades candidatas a una mezcla de M distribuciones candidatas con proporciones de mezcla regularizadas. Se pueden establecer conexiones entre las ideas subyacentes a los procesos gaussianos y los campos aleatorios condicionales con la estimación de distribuciones de probabilidad condicionales de esta manera, si se consideran las asignaciones de características asociadas con el núcleo como estadísticas suficientes en familias exponenciales generalizadas (posiblemente de dimensión infinita) . ^{[ 6 ]}

Una medida de la dependencia estadística entre variables aleatorias${\displaystyle X}$y${\displaystyle Y}$(de cualquier dominio en el que se puedan definir núcleos sensatos) se pueden formular basándose en el Criterio de Independencia de Hilbert-Schmidt ^{[ 18 ].}

${\displaystyle {\text{HSIC}}(X,Y)=\left\|{\mathcal {C}}_{XY}-\mu _{X}\otimes \mu _{Y}\right\|_{{\mathcal {H}}\otimes {\mathcal {H}}}^{2}}$

y puede utilizarse como un reemplazo basado en principios para la información mutua , la correlación de Pearson o cualquier otra medida de dependencia utilizada en algoritmos de aprendizaje. En particular, HSIC puede detectar dependencias arbitrarias (cuando se utiliza un núcleo característico en las incrustaciones, HSIC es cero si y solo si las variables son independientes ), y puede utilizarse para medir la dependencia entre diferentes tipos de datos (por ejemplo, imágenes y subtítulos de texto). Dados n muestras i.i.d. de cada variable aleatoria, se puede calcular un estimador simple, insesgado y sin parámetros de HSIC que muestra concentración alrededor del valor verdadero.${\displaystyle O(n(d_{f}^{2}+d_{g}^{2}))}$tiempo, ^{[ 6 ]} donde las matrices de Gram de los dos conjuntos de datos se aproximan usando${\displaystyle \mathbf {A} \mathbf {A} ^{T},\mathbf {B} \mathbf {B} ^{T}}$con${\displaystyle \mathbf {A} \in \mathbb {R} ^{n\times d_{f}},\mathbf {B} \in \mathbb {R} ^{n\times d_{g}}}$Las propiedades deseables de HSIC han llevado a la formulación de numerosos algoritmos que utilizan esta medida de dependencia para una variedad de tareas comunes de aprendizaje automático, tales como: selección de características (BAHSIC ^{[ 19 ]} ), agrupamiento (CLUHSIC ^{[ 20 ]} ) y reducción de dimensionalidad (MUHSIC ^{[ 21 ]} ).

HSIC puede extenderse para medir la dependencia de múltiples variables aleatorias. La cuestión de cuándo HSIC captura la independencia en este caso se ha estudiado recientemente: ^{[ 22 ]} para más de dos variables

• en${\displaystyle \mathbb {R} ^{d}}$: la propiedad característica de los núcleos individuales sigue siendo una condición equivalente.
• En dominios generales: la propiedad característica de los componentes del núcleo es necesaria pero no suficiente .

La propagación de creencias es un algoritmo fundamental para la inferencia en modelos gráficos en el que los nodos se envían y reciben repetidamente mensajes correspondientes a la evaluación de expectativas condicionales. En el marco de incrustación de kernel, los mensajes pueden representarse como funciones RKHS y las incrustaciones de distribución condicional pueden aplicarse para calcular eficientemente las actualizaciones de mensajes. Dados n muestras de variables aleatorias representadas por nodos en un campo aleatorio de Markov , el mensaje entrante al nodo t desde el nodo u puede expresarse como

${\displaystyle m_{ut}(\cdot )=\sum _{i=1}^{n}\beta _{ut}^{i}\varphi (x_{t}^{i})}$

si se supone que está en el RKHS. El mensaje de actualización de propagación de creencias del núcleo de t al nodo s viene dado por ^{[ 2 ]}

${\displaystyle {\widehat {m}}_{ts}=\left(\odot _{u\in N(t)\backslash s}\mathbf {K} _{t}{\boldsymbol {\beta }}_{ut}\right)^{T}(\mathbf {K} _{s}+\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}_{s}^{T}\varphi (x_{s})}$

dónde${\displaystyle \odot }$denota el producto vectorial elemento a elemento,${\displaystyle N(t)\backslash s}$es el conjunto de nodos conectados a t excluyendo el nodo s ,${\displaystyle {\boldsymbol {\beta }}_{ut}=\left(\beta _{ut}^{1},\dots ,\beta _{ut}^{n}\right)}$,${\displaystyle \mathbf {K} _{t},\mathbf {K} _{s}}$son las matrices de Gram de las muestras de variables${\displaystyle X_{t},X_{s}}$, respectivamente, y${\displaystyle {\boldsymbol {\Upsilon }}_{s}=\left(\varphi (x_{s}^{1}),\dots ,\varphi (x_{s}^{n})\right)}$es la matriz de características para las muestras de${\displaystyle X_{s}}$.

Por lo tanto, si los mensajes entrantes al nodo t son combinaciones lineales de muestras mapeadas de características de${\displaystyle X_{t}}$, entonces el mensaje saliente de este nodo también es una combinación lineal de muestras mapeadas de características de${\displaystyle X_{s}}$Esta representación de la función RKHS de las actualizaciones de paso de mensajes produce, por lo tanto, un algoritmo eficiente de propagación de creencias en el que los potenciales son funciones no paramétricas inferidas a partir de los datos, de modo que se pueden modelar relaciones estadísticas arbitrarias. ^{[ 2 ]}

En el modelo oculto de Markov (HMM), dos cantidades clave de interés son las probabilidades de transición entre estados ocultos.${\displaystyle P(S^{t}\mid S^{t-1})}$y las probabilidades de emisión${\displaystyle P(O^{t}\mid S^{t})}$para observaciones. Utilizando el marco de incrustación de distribución condicional de kernel, estas cantidades pueden expresarse en términos de muestras del HMM. Una limitación importante de los métodos de incrustación en este dominio es la necesidad de muestras de entrenamiento que contengan estados ocultos, ya que de lo contrario no es posible realizar inferencias con distribuciones arbitrarias en el HMM.

Un uso común de los HMM es el filtrado, cuyo objetivo es estimar la distribución posterior sobre el estado oculto.${\displaystyle s^{t}}$en el paso de tiempo t dado un historial de observaciones previas${\displaystyle h^{t}=(o^{1},\dots ,o^{t})}$del sistema. En el filtrado, un estado de creencia${\displaystyle P(S^{t+1}\mid h^{t+1})}$se mantiene recursivamente a través de un paso de predicción (donde se actualiza${\displaystyle P(S^{t+1}\mid h^{t})=\mathbb {E} [P(S^{t+1}\mid S^{t})\mid h^{t}]}$se calculan marginalizando el estado oculto anterior) seguido de un paso de condicionamiento (donde las actualizaciones${\displaystyle P(S^{t+1}\mid h^{t},o^{t+1})\propto P(o^{t+1}\mid S^{t+1})P(S^{t+1}\mid h^{t})}$se calculan aplicando la regla de Bayes a una condición sobre una nueva observación). ^{[ 2 ]} La incrustación RKHS del estado de creencia en el tiempo t+1 se puede expresar recursivamente como

${\displaystyle \mu _{S^{t+1}\mid h^{t+1}}={\mathcal {C}}_{S^{t+1}O^{t+1}}^{\pi }\left({\mathcal {C}}_{O^{t+1}O^{t+1}}^{\pi }\right)^{-1}\varphi (o^{t+1})}$

calculando las incrustaciones del paso de predicción mediante la regla de suma del kernel y la incrustación del paso de condicionamiento mediante la regla de Bayes del kernel . Suponiendo una muestra de entrenamiento${\displaystyle ({\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T},{\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T})}$Si se da, en la práctica se puede estimar

${\displaystyle {\widehat {\mu }}_{S^{t+1}\mid h^{t+1}}=\sum _{i=1}^{T}\alpha _{i}^{t}\varphi ({\widetilde {s}}^{t})}$

y el filtrado con incrustaciones de kernel se implementa de manera recursiva utilizando las siguientes actualizaciones para los pesos${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\dots ,\alpha _{T})}$^{[ 2 ]}

${\displaystyle \mathbf {D} ^{t+1}=\operatorname {diag} \left((G+\lambda \mathbf {I} )^{-1}{\widetilde {G}}{\boldsymbol {\alpha }}^{t}\right)}$

${\displaystyle {\boldsymbol {\alpha }}^{t+1}=\mathbf {D} ^{t+1}\mathbf {K} \left((\mathbf {D} ^{t+1}K)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {D} ^{t+1}\mathbf {K} _{o^{t+1}}}$

dónde${\displaystyle \mathbf {G} ,\mathbf {K} }$denotemos las matrices de Gram de${\displaystyle {\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T}}$y${\displaystyle {\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T}}$respectivamente,${\displaystyle {\widetilde {\mathbf {G} }}}$es una matriz de Gram de transferencia definida como${\displaystyle {\widetilde {\mathbf {G} }}_{ij}=k({\widetilde {s}}_{i},{\widetilde {s}}_{j+1}),}$y${\displaystyle \mathbf {K} _{o^{t+1}}=(k({\widetilde {o}}^{1},o^{t+1}),\dots ,k({\widetilde {o}}^{T},o^{t+1}))^{T}.}$

La máquina de medidas de soporte (SMM) es una generalización de la máquina de vectores de soporte (SVM) en la que los ejemplos de entrenamiento son distribuciones de probabilidad emparejadas con etiquetas.${\displaystyle \{P_{i},y_{i}\}_{i=1}^{n},\ y_{i}\in \{+1,-1\}}$. ^{[ 23 ]} Los SMM resuelven el problema de optimización dual estándar de SVM utilizando el siguiente kernel esperado

${\displaystyle K\left(P(X),Q(Z)\right)=\langle \mu _{X},\mu _{Z}\rangle _{\mathcal {H}}=\mathbb {E} [k(x,z)]}$

que se puede calcular en forma cerrada para muchas distribuciones específicas comunes.${\displaystyle P_{i}}$(como la distribución gaussiana) combinada con núcleos de incrustación populares${\displaystyle k}$(por ejemplo, el núcleo gaussiano o el núcleo polinómico), o pueden estimarse empíricamente con precisión a partir de muestras i.i.d.${\displaystyle \{x_{i}\}_{i=1}^{n}\sim P(X),\{z_{j}\}_{j=1}^{m}\sim Q(Z)}$a través de

${\displaystyle {\widehat {K}}(X,Z)={\frac {1}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},z_{j})}$

Bajo ciertas elecciones del núcleo de incrustación${\displaystyle k}$, el SMM aplicado a ejemplos de entrenamiento${\displaystyle \{P_{i},y_{i}\}_{i=1}^{n}}$es equivalente a una SVM entrenada en muestras${\displaystyle \{x_{i},y_{i}\}_{i=1}^{n}}$y, por lo tanto, el SMM puede considerarse como un SVM flexible en el que un núcleo diferente dependiente de los datos (especificado por la forma supuesta de la distribución)${\displaystyle P_{i}}$) se pueden colocar en cada punto de entrenamiento. ^{[ 23 ]}

El objetivo de la adaptación de dominio es la formulación de algoritmos de aprendizaje que se generalicen bien cuando los datos de entrenamiento y de prueba tengan distribuciones diferentes. Dados los ejemplos de entrenamiento${\displaystyle \{(x_{i}^{\text{tr}},y_{i}^{\text{tr}})\}_{i=1}^{n}}$y un conjunto de prueba${\displaystyle \{(x_{j}^{\text{te}},y_{j}^{\text{te}})\}_{j=1}^{m}}$donde el${\displaystyle y_{j}^{\text{te}}}$Se desconocen tres tipos de diferencias comúnmente asumidas entre la distribución de los ejemplos de entrenamiento.${\displaystyle P^{\text{tr}}(X,Y)}$y la distribución de la prueba${\displaystyle P^{\text{te}}(X,Y)}$: ^{[ 24 ] [ 25 ]}

1. Cambio de covariables en el que la distribución marginal de las covariables cambia entre dominios:${\displaystyle P^{\text{tr}}(X)\neq P^{\text{te}}(X)}$
2. Cambio de objetivo en el que la distribución marginal de los resultados cambia entre dominios:${\displaystyle P^{\text{tr}}(Y)\neq P^{\text{te}}(Y)}$
3. Cambio condicional en el que${\displaystyle P(Y)}$permanece igual en todos los dominios, pero las distribuciones condicionales difieren:${\displaystyle P^{\text{tr}}(X\mid Y)\neq P^{\text{te}}(X\mid Y)}$En general, la presencia de un cambio condicional conduce a un problema mal planteado , y la suposición adicional de que${\displaystyle P(X\mid Y)}$cambios únicamente bajo transformaciones de ubicación - escala (LS) en${\displaystyle X}$Se suele imponer para que el problema sea manejable.

Al utilizar la incrustación de núcleo de distribuciones marginales y condicionales, se pueden formular enfoques prácticos para abordar la presencia de este tipo de diferencias entre los dominios de entrenamiento y prueba. El cambio de covariable se puede tener en cuenta reponderando los ejemplos a través de estimaciones de la razón${\displaystyle P^{\text{te}}(X)/P^{\text{tr}}(X)}$obtenido directamente de las incrustaciones del núcleo de las distribuciones marginales de${\displaystyle X}$en cada dominio sin necesidad de estimación explícita de las distribuciones. ^{[ 25 ]} Desplazamiento del objetivo, que no se puede tratar de manera similar ya que no hay muestras de${\displaystyle Y}$están disponibles en el dominio de prueba, se tiene en cuenta ponderando los ejemplos de entrenamiento usando el vector${\displaystyle {\boldsymbol {\beta }}^{*}(\mathbf {y} ^{\text{tr}})}$que resuelve el siguiente problema de optimización (donde en la práctica se deben utilizar aproximaciones empíricas) ^{[ 24 ]}

${\displaystyle \min _{{\boldsymbol {\beta }}(y)}\left\|{\mathcal {C}}_{{(X\mid Y)}^{\text{tr}}}\mathbb {E} [{\boldsymbol {\beta }}(y)\varphi (y^{\text{tr}})]-\mu _{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}$sujeto a${\displaystyle {\boldsymbol {\beta }}(y)\geq 0,\mathbb {E} [{\boldsymbol {\beta }}(y^{\text{tr}})]=1}$

Para abordar el cambio condicional de escala de ubicación, se puede realizar una transformación LS de los puntos de entrenamiento para obtener nuevos datos de entrenamiento transformados.${\displaystyle \mathbf {X} ^{\text{new}}=\mathbf {X} ^{\text{tr}}\odot \mathbf {W} +\mathbf {B} }$(dónde${\displaystyle \odot }$denota el producto vectorial elemento a elemento). Para asegurar distribuciones similares entre las nuevas muestras de entrenamiento transformadas y los datos de prueba,${\displaystyle \mathbf {W} ,\mathbf {B} }$se estiman minimizando la siguiente distancia de incrustación de núcleo empírica ^{[ 24 ]}

${\displaystyle \left\|{\widehat {\mu }}_{X^{\text{new}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}=\left\|{\widehat {\mathcal {C}}}_{(X\mid Y)^{\text{new}}}{\widehat {\mu }}_{Y^{\text{tr}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}$

En general, los métodos de incrustación de núcleo para tratar el desplazamiento condicional de LS y el desplazamiento del objetivo se pueden combinar para encontrar una transformación ponderada de los datos de entrenamiento que imite la distribución de prueba, y estos métodos pueden funcionar bien incluso en presencia de desplazamientos condicionales distintos de los cambios de ubicación y escala. ^{[ 24 ]}

Dados N conjuntos de ejemplos de entrenamiento muestreados i.i.d. de distribuciones${\displaystyle P^{(1)}(X,Y),P^{(2)}(X,Y),\ldots ,P^{(N)}(X,Y)}$El objetivo de la generalización de dominio es formular algoritmos de aprendizaje que funcionen bien en ejemplos de prueba muestreados de un dominio previamente no visto.${\displaystyle P^{*}(X,Y)}$donde no hay datos del dominio de prueba disponibles en el momento del entrenamiento. Si las distribuciones condicionales${\displaystyle P(Y\mid X)}$Se supone que son relativamente similares en todos los dominios, entonces un aprendiz capaz de generalizar el dominio debe estimar una relación funcional entre las variables que sea robusta a los cambios en los marginales.${\displaystyle P(X)}$Basado en incrustaciones de núcleo de estas distribuciones, el Análisis de Componentes Invariantes de Dominio (DICA) es un método que determina la transformación de los datos de entrenamiento que minimiza la diferencia entre las distribuciones marginales, preservando al mismo tiempo una distribución condicional común compartida entre todos los dominios de entrenamiento. ^{[ 26 ]} DICA extrae así invariantes , características que se transfieren entre dominios, y puede considerarse una generalización de muchos métodos populares de reducción de dimensionalidad, como el análisis de componentes principales de núcleo , el análisis de componentes de transferencia y la regresión inversa del operador de covarianza. ^{[ 26 ]}

Definición de una distribución de probabilidad${\displaystyle {\mathcal {P}}}$en el RKHS${\displaystyle {\mathcal {H}}}$con

${\displaystyle {\mathcal {P}}\left(\mu _{X^{(i)}Y^{(i)}}\right)={\frac {1}{N}}\qquad {\text{ for }}i=1,\dots ,N,}$

DICA mide la disimilitud entre dominios a través de la varianza de distribución que se calcula como

${\displaystyle V_{\mathcal {H}}({\mathcal {P}})={\frac {1}{N}}\operatorname {tr} (\mathbf {G} )-{\frac {1}{N^{2}}}\sum _{i,j=1}^{N}\mathbf {G} _{ij}}$

dónde

${\displaystyle \mathbf {G} _{ij}=\left\langle \mu _{X^{(i)}},\mu _{X^{(j)}}\right\rangle _{\mathcal {H}}}$

entonces${\displaystyle \mathbf {G} }$es un${\displaystyle N\times N}$Matriz de Gram sobre las distribuciones de las cuales se muestrean los datos de entrenamiento. Al encontrar una transformación ortogonal sobre un subespacio de baja dimensión B (en el espacio de características) que minimiza la varianza de la distribución, DICA asegura simultáneamente que B se alinee con las bases de un subespacio central C para el cual${\displaystyle Y}$se vuelve independiente de${\displaystyle X}$dado${\displaystyle C^{T}X}$en todos los dominios. En ausencia de valores objetivo${\displaystyle Y}$, se puede formular una versión no supervisada de DICA que encuentra un subespacio de baja dimensión que minimiza la varianza de la distribución mientras maximiza simultáneamente la varianza de${\displaystyle X}$(en el espacio de características) en todos los dominios (en lugar de preservar un subespacio central). ^{[ 26 ]}

En la regresión de distribución, el objetivo es regresar de distribuciones de probabilidad a números reales (o vectores). Muchas tareas importantes de aprendizaje automático y estadística se ajustan a este marco, incluyendo el aprendizaje multiinstancia y los problemas de estimación puntual sin solución analítica (como la estimación de hiperparámetros o entropía ). En la práctica, solo se pueden observar muestras de distribuciones muestreadas, y las estimaciones deben basarse en similitudes calculadas entre conjuntos de puntos . La regresión de distribución se ha aplicado con éxito, por ejemplo, en el aprendizaje supervisado de entropía y en la predicción de aerosoles utilizando imágenes satelitales multiespectrales. ^{[ 27 ]}

Dado${\displaystyle {\left(\{X_{i,n}\}_{n=1}^{N_{i}},y_{i}\right)}_{i=1}^{\ell }}$datos de entrenamiento, donde el${\displaystyle {\hat {X_{i}}}:=\{X_{i,n}\}_{n=1}^{N_{i}}}$La bolsa contiene muestras de una distribución de probabilidad.${\displaystyle X_{i}}$y el${\displaystyle i^{\text{th}}}$La etiqueta de salida es${\displaystyle y_{i}\in \mathbb {R} }$Se puede abordar la tarea de regresión de distribución tomando las incrustaciones de las distribuciones y aprendiendo el regresor a partir de las incrustaciones para las salidas. En otras palabras, se puede considerar el siguiente problema de regresión de cresta de núcleo.${\displaystyle (\lambda >0)}$

${\displaystyle J(f)={\frac {1}{\ell }}\sum _{i=1}^{\ell }\left[f\left(\mu _{\hat {X_{i}}}\right)-y_{i}\right]^{2}+\lambda \|f\|_{{\mathcal {H}}(K)}^{2}\to \min _{f\in {\mathcal {H}}(K)},}$

dónde

${\displaystyle \mu _{{\hat {X}}_{i}}=\int _{\Omega }k(\cdot ,u)\,\mathrm {d} {\hat {X}}_{i}(u)={\frac {1}{N_{i}}}\sum _{n=1}^{N_{i}}k(\cdot ,X_{i,n})}$

con un${\displaystyle k}$núcleo en el dominio de${\displaystyle X_{i}}$-s${\displaystyle (k:\Omega \times \Omega \to \mathbb {R} )}$,${\displaystyle K}$es un núcleo en las distribuciones integradas y${\displaystyle {\mathcal {H}}(K)}$es el RKHS determinado por${\displaystyle K}$Ejemplos de${\displaystyle K}$incluir el núcleo lineal${\displaystyle \left[K(\mu _{P},\mu _{Q})=\langle \mu _{P},\mu _{Q}\rangle _{{\mathcal {H}}(k)}\right]}$, el núcleo gaussiano${\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/(2\sigma ^{2})}\right]}$, el núcleo exponencial${\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}/(2\sigma ^{2})}\right]}$, el núcleo de Cauchy${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/\sigma ^{2}\right)^{-1}\right]}$, el núcleo t-estudiante generalizado${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{\sigma }\right)^{-1},(\sigma \leq 2)\right]}$o el núcleo de multicuadráticas inversas${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}+\sigma ^{2}\right)^{-{\frac {1}{2}}}\right]}$.