suavizador de núcleo

Un suavizador de núcleo es una técnica estadística para estimar una función de valor real. $f:\mathbb {R} ^{p}\to \mathbb {R}$ como el promedio ponderado de los datos observados vecinos. El peso se define mediante el núcleo , de modo que a los puntos más cercanos se les asignan pesos mayores. La función estimada es suave, y el nivel de suavidad se establece mediante un único parámetro. El suavizado de núcleo es un tipo de promedio móvil ponderado .

Definiciones

Dejar $K_{h_{\lambda }}(X_{0},X)$ ser un núcleo definido por

K_{h_{\lambda }}(X_{0},X)=D\left({\frac {\left\|X-X_{0}\right\|}{h_{\lambda }(X_{0})}}\right)

dónde:

$X,X_{0}\in \mathbb {R} ^{p}$
$\left\|\cdot \right\|$ es la norma euclidiana
$h_{\lambda }(X_{0})$ es un parámetro (radio del núcleo)
D ( t ) es típicamente una función de valor real positivo, cuyo valor es decreciente (o no creciente) a medida que aumenta la distancia entre X y X ₀ .

Entre los núcleos más utilizados para el suavizado se encuentran los núcleos parabólico (Epanechnikov), tricubo y gaussiano .

Dejar $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ sea una función continua de X. Para cada $X_{0}\in \mathbb {R} ^{p}$ , el promedio ponderado por núcleo de Nadaraya-Watson (estimación suave de Y ( X )) se define por

{\hat {Y}}(X_{0})={\frac {\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})Y(X_{i})}}{\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})}}}

dónde:

N es el número de puntos observados
Y ( X _i ) son las observaciones en los puntos X _i .

En las siguientes secciones, describimos algunos casos particulares de suavizadores de núcleo.

Suavizador de núcleo gaussiano

El núcleo gaussiano es uno de los núcleos más utilizados y se expresa mediante la siguiente ecuación.

K(x^{*},x_{i})=\exp \left(-{\frac {(x^{*}-x_{i})^{2}}{2b^{2}}}\right)

Aquí, b es la escala de longitud para el espacio de entrada.

suavizador del vecino más cercano

Ejemplo de suavizado del vecino más cercano.

El algoritmo de k vecinos más cercanos se puede utilizar para definir un suavizador de k vecinos más cercanos de la siguiente manera. Para cada punto X ₀ , tome m vecinos más cercanos y estime el valor de Y ( X ₀ ) promediando los valores de estos vecinos.

Formalmente, $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ , dónde $X_{[m]}$ es el m -ésimo vecino más cercano a X _{0 , y}

D(t)={\begin{cases}1/m&{\text{si }}|t|\leq 1\\0&{\text{en otro caso}}\end{cases}}

En este ejemplo, X es unidimensional. Para cada X ₀ , el ${\hat {Y}}(X_{0})$ es un valor promedio de 16 más cercano a los puntos X ₀ (indicado en rojo).

suavizador de promedio de kernel

Ejemplo de suavizado promedio del kernel.

La idea del suavizador de promedio de núcleo es la siguiente. Para cada punto de datos X ₀ , elija un tamaño de distancia constante λ (radio del núcleo, o ancho de ventana para p = 1 dimensión), y calcule un promedio ponderado para todos los puntos de datos que estén más cerca que $\lambda$ a X ₀ (cuanto más cerca de X ₀ los puntos obtienen mayor peso).

Formalmente, $h_{\lambda }(X_{0})=\lambda ={\text{constante}},$ y D ( t ) es uno de los núcleos más populares.

Para cada X₀ _, el ancho de la ventana es constante, y el peso de cada punto dentro de la ventana se representa esquemáticamente mediante la figura amarilla en el gráfico. Se observa que la estimación es suave, pero los puntos límite presentan sesgo. Esto se debe a la cantidad desigual de puntos (a la derecha y a la izquierda de _X₀) dentro de la ventana, cuando X₀ se encuentra _lo suficientemente cerca del límite.

regresión local

regresión lineal local

En las dos secciones anteriores asumimos que la función subyacente Y(X) es localmente constante, por lo tanto pudimos usar el promedio ponderado para la estimación. La idea de la regresión lineal local es ajustar localmente una línea recta (o un hiperplano para dimensiones superiores), y no la constante (línea horizontal). Después de ajustar la línea, la estimación ${\hat {Y}}(X_{0})$ El valor de esta línea en el punto X ₀ lo proporciona . Al repetir este procedimiento para cada X ₀ , se puede obtener la función de estimación. ${\hat {Y}}(X)$ Al igual que en la sección anterior, el ancho de la ventana es constante. $h_{\lambda }(X_{0})=\lambda ={\text{constante}}.$ Formalmente, la regresión lineal local se calcula resolviendo un problema de mínimos cuadrados ponderados.

Para una dimensión ( p = 1):

${\begin{aligned}&\min _{\alpha (X_{0}),\beta (X_{0})}\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\beta (X_{0})X_{i}\right)^{2}}\\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\Downarrow \\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\hat {Y}}(X_{0})=\alpha (X_{0})+\beta (X_{0})X_{0}\\\end{aligned}}$

La solución en forma cerrada viene dada por:

{\hat {Y}}(X_{0})=\left(1,X_{0}\right)\left(B^{T}W(X_{0})B\right)^{-1}B^{T}W(X_{0})y

dónde:

$y=\left(Y(X_{1}),\dots ,Y(X_{N})\right)^{T}$
$W(X_{0})=\operatorname {diag} \left(K_{h_{\lambda }}(X_{0},X_{i})\right)_{N\times N}$
$B^{T}=\left({\begin{matrix}1&1&\dots &1\\X_{1}&X_{2}&\dots &X_{N}\\\end{matrix}}\right)$

La función resultante es suave y se reduce el problema de los puntos límite sesgados.

La regresión lineal local puede aplicarse a espacios de cualquier dimensión, aunque la definición de vecindario local se vuelve más compleja. Es común utilizar los k puntos de entrenamiento más cercanos a un punto de prueba para ajustar la regresión lineal local. Esto puede generar una alta varianza en la función ajustada. Para limitar la varianza, el conjunto de puntos de entrenamiento debe contener el punto de prueba dentro de su envolvente convexa (véase la referencia de Gupta et al.).

regresión polinómica local

En lugar de ajustar funciones lineales locales, se pueden ajustar funciones polinómicas. Para p=1, se debe minimizar:

{\underset {\alpha (X_{0}),\beta _{j}(X_{0}),j=1,...,d}{\mathop {\min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{i}^{j}}\right)^{2}}

con ${\hat {Y}}(X_{0})=\alpha (X_{0})+\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{0}^{j}}$

En el caso general (p>1), se debe minimizar:

{\begin{aligned}&{\hat {\beta }}(X_{0})={\underset {\beta (X_{0})}{\mathop {\arg \min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-b(X_{i})^{T}\beta (X_{0})\right)}^{2}\\&b(X)=\left({\begin{matrix}1,&X_{1},&X_{2},...&X_{1}^{2},&X_{2}^{2},...&X_{1}X_{2}\,\,\,...\\\end{matrix}}\right)\\&{\hat {Y}}(X_{0})=b(X_{0})^{T}{\hat {\beta }}(X_{0})\\\end{aligned}}

Véase también

Referencias

Li, Q. y JS Racine. Econometría no paramétrica: teoría y práctica . Princeton University Press, 2007, ISBN 0-691-12161-3.
T. Hastie, R. Tibshirani y J. Friedman, Los elementos del aprendizaje estadístico , Capítulo 6, Springer, 2001. ISBN 0-387-95284-5( Sitio web del libro complementario ).
M. Gupta, E. Garcia y E. Chin, "Regresión lineal local adaptativa con aplicación a la gestión del color de la impresora", IEEE Trans. Image Processing 2008.