Spline de suavizado

Las splines de suavizado son estimaciones de funciones,${\displaystyle {\hat {f}}(x)}$, obtenido a partir de un conjunto de observaciones ruidosas${\displaystyle y_{i}}$del objetivo${\displaystyle f(x_{i})}$, para equilibrar una medida de bondad de ajuste de${\displaystyle {\hat {f}}(x_{i})}$a${\displaystyle y_{i}}$con una medida basada en derivadas de la suavidad de${\displaystyle {\hat {f}}(x)}$Proporcionan un medio para suavizar el ruido.${\displaystyle x_{i},y_{i}}$datos. El ejemplo más conocido es la spline de suavizado cúbico, pero hay muchas otras posibilidades, incluyendo el caso en el que${\displaystyle x}$es una cantidad vectorial .

Dejar${\displaystyle \{x_{i},Y_{i}:i=1,\dots ,n\}}$ser un conjunto de observaciones, modelado por la relación${\displaystyle Y_{i}=f(x_{i})+\epsilon _{i}}$donde el ${\displaystyle \epsilon _{i}}$son variables aleatorias independientes con media cero. La estimación de la spline de suavizado cúbico${\displaystyle {\hat {f}}}$de la función${\displaystyle f}$se define como el único minimizador en el espacio de Sobolev.${\displaystyle W_{2}^{2}}$en un intervalo compacto, de ^{[ 1 ] [ 2 ]}

${\displaystyle \sum _{i=1}^{n}\{Y_{i}-{\hat {f}}(x_{i})\}^{2}+\lambda \int {\hat {f}}^{\prime \prime }(x)^{2}\,dx.}$

Observaciones:

• ${\displaystyle \lambda \geq 0}$es un parámetro de suavizado que controla el equilibrio entre la fidelidad a los datos y la rugosidad de la estimación de la función. Esto se estima a menudo mediante validación cruzada generalizada, ^{[ 3 ]} o mediante verosimilitud marginal restringida (REML) ^{[ 4 ]} que explota el vínculo entre el suavizado de splines y la estimación bayesiana (la penalización de suavizado puede verse como inducida por una distribución a priori sobre la${\displaystyle f}$). ^{[ 5 ]}
• La integral se evalúa a menudo sobre toda la recta real, aunque también es posible restringir el rango a la de${\displaystyle x_{i}}$.
• Como${\displaystyle \lambda \to 0}$(sin suavizado), la spline de suavizado converge a la spline de interpolación .
• Como${\displaystyle \lambda \to \infty }$(Suavizado infinito), la penalización por rugosidad se vuelve primordial y la estimación converge a una estimación lineal de mínimos cuadrados .
• La penalización por rugosidad basada en la segunda derivada es la más común en la literatura estadística moderna, aunque el método se puede adaptar fácilmente a penalizaciones basadas en otras derivadas.
• En la literatura temprana, con espaciado uniforme y ordenado${\displaystyle x_{i}}$, en la penalización se utilizaron diferencias de segundo o tercer orden, en lugar de derivadas. ^{[ 6 ]} Véase también suavizado de Whittaker-Henderson .
• El objetivo de suavizado de suma de cuadrados penalizada puede ser reemplazado por un objetivo de verosimilitud penalizada en el que los términos de suma de cuadrados se reemplazan por otra medida de fidelidad a los datos basada en la log-verosimilitud. ^{[ 1 ]} El término de suma de cuadrados corresponde a la verosimilitud penalizada con una suposición gaussiana en la${\displaystyle \epsilon _{i}}$.

Resulta útil pensar en ajustar una curva de suavizado en dos pasos:

1. Primero, derivar los valores${\displaystyle {\hat {f}}(x_{i});i=1,\ldots ,n}$.
2. A partir de estos valores, derive${\displaystyle {\hat {f}}(x)}$para todo x .

Ahora, tratemos primero el segundo paso.

Dado el vector${\displaystyle {\hat {m}}=({\hat {f}}(x_{1}),\ldots ,{\hat {f}}(x_{n}))^{T}}$De los valores ajustados, la parte de suma de cuadrados del criterio spline queda fija. Solo queda minimizar${\displaystyle \int {\hat {f}}''(x)^{2}\,dx}$y el minimizador es una spline cúbica natural que interpola los puntos${\displaystyle (x_{i},{\hat {f}}(x_{i}))}$. Esta spline interpoladora es un operador lineal y se puede escribir de la forma

${\displaystyle {\hat {f}}(x)=\sum _{i=1}^{n}{\hat {f}}(x_{i})f_{i}(x)}$

dónde${\displaystyle f_{i}(x)}$son un conjunto de funciones base spline. Como resultado, la penalización por rugosidad tiene la forma

${\displaystyle \int {\hat {f}}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.}$

donde los elementos de${\displaystyle A}$son${\displaystyle \int f_{i}''(x)f_{j}''(x)dx}$. Las funciones base y, por lo tanto, la matriz${\displaystyle A}$, dependen de la configuración de las variables predictoras${\displaystyle x_{i}}$pero no en las respuestas${\displaystyle Y_{i}}$o${\displaystyle {\hat {m}}}$.

${\displaystyle A}$es un${\displaystyle n\times n}$matriz dada por${\displaystyle A=\Delta ^{T}W^{-1}\Delta }$.

${\displaystyle \Delta }$es un${\displaystyle (n-2)\times n}$matriz de segundas diferencias con elementos:

${\displaystyle \Delta _{ii}=1/h_{i}}$,${\displaystyle \Delta _{i,i+1}=-1/h_{i}-1/h_{i+1}}$,${\displaystyle \Delta _{i,i+2}=1/h_{i+1}}$

${\displaystyle W}$es un${\displaystyle (n-2)\times (n-2)}$Matriz tridiagonal simétrica con elementos:

${\displaystyle W_{i-1,i}=W_{i,i-1}=h_{i}/6}$,${\displaystyle W_{ii}=(h_{i}+h_{i+1})/3}$y${\displaystyle h_{i}=\xi _{i+1}-\xi _{i}}$, las distancias entre nodos sucesivos (o valores x).

Ahora volvamos al primer paso. La suma de cuadrados penalizada se puede escribir como

${\displaystyle \{Y-{\hat {m}}\}^{T}\{Y-{\hat {m}}\}+\lambda {\hat {m}}^{T}A{\hat {m}},}$

dónde${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{T}}$.

Minimizar más${\displaystyle {\hat {m}}}$diferenciando contra${\displaystyle {\hat {m}}}$Esto da como resultado: ${\displaystyle -2\{Y-{\hat {m}}\}+2\lambda A{\hat {m}}=0}$^{[ 7 ]} y ${\displaystyle {\hat {m}}=(I+\lambda A)^{-1}Y.}$

El enfoque de De Boor explota la misma idea, la de encontrar un equilibrio entre tener una curva suave y estar cerca de los datos dados. ^{[ 8 ]}

${\displaystyle p\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}+\left(1-p\right)\int \left({\hat {f}}^{\left(m\right)}\left(x\right)\right)^{2}\,dx}$

dónde${\displaystyle p}$es un parámetro llamado factor de suavidad y pertenece al intervalo${\displaystyle [0,1]}$, y${\displaystyle \delta _{i};i=1,\dots ,n}$son las cantidades que controlan el grado de suavizado (representan el peso)${\displaystyle \delta _{i}^{-2}}$de cada punto${\displaystyle Y_{i}}$). En la práctica, dado que se utilizan principalmente splines cúbicos ,${\displaystyle m}$suele ser${\displaystyle 2}$. La solución para${\displaystyle m=2}$fue propuesta por Christian Reinsch en 1967. ^{[ 9 ]} Para${\displaystyle m=2}$, cuando${\displaystyle p}$aproches${\displaystyle 1}$,${\displaystyle {\hat {f}}}$converge a la interpolación spline "natural" a los datos dados. ^{[ 8 ]} Como${\displaystyle p}$aproches${\displaystyle 0}$,${\displaystyle {\hat {f}}}$converge a una línea recta (la curva más suave). Dado que encontrar un valor adecuado de${\displaystyle p}$es una tarea de ensayo y error, una constante redundante${\displaystyle S}$Se introdujo por conveniencia. ^{[ 9 ]}${\displaystyle S}$se utiliza para determinar numéricamente el valor de${\displaystyle p}$para que la función${\displaystyle {\hat {f}}}$cumple la siguiente condición:

${\displaystyle \sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}\leq S}$

El algoritmo descrito por de Boor comienza con${\displaystyle p=0}$y aumenta${\displaystyle p}$hasta que se cumpla la condición. ^{[ 8 ]} Si${\displaystyle \delta _{i}}$es una estimación de la desviación estándar para${\displaystyle Y_{i}}$, la constante${\displaystyle S}$Se recomienda elegirlo en el intervalo${\displaystyle \left[n-{\sqrt {2n}},n+{\sqrt {2n}}\right]}$. Teniendo${\displaystyle S=0}$significa que la solución es el interpolante spline "natural". ^{[ 9 ]} Incrementando${\displaystyle S}$significa que obtenemos una curva más suave al alejarnos de los datos dados.

Existen dos clases principales de métodos para generalizar a partir del suavizado con respecto a un escalar.${\displaystyle x}$al suavizado con respecto a un vector ${\displaystyle x}$El primer enfoque simplemente generaliza la penalización de suavizado de splines al entorno multidimensional. Por ejemplo, si se intenta estimar${\displaystyle f(x,z)}$podríamos usar la penalización de spline de placa delgada y encontrar la${\displaystyle {\hat {f}}(x,z)}$minimizando

${\displaystyle \sum _{i=1}^{n}\{y_{i}-{\hat {f}}(x_{i},z_{i})\}^{2}+\lambda \int \left[\left({\frac {\partial ^{2}{\hat {f}}}{\partial x^{2}}}\right)^{2}+2\left({\frac {\partial ^{2}{\hat {f}}}{\partial x\partial z}}\right)^{2}+\left({\frac {\partial ^{2}{\hat {f}}}{\partial z^{2}}}\right)^{2}\right]{\textrm {d}}x\,{\textrm {d}}z.}$

El enfoque de spline de placa delgada se puede generalizar al suavizado con respecto a más de dos dimensiones y a otros órdenes de diferenciación en la penalización. ^{[ 1 ]} A medida que aumenta la dimensión hay algunas restricciones sobre el orden diferencial más pequeño que se puede usar, ^{[ 1 ]} pero en realidad el artículo original de Duchon, ^{[ 10 ]} da penalizaciones un poco más complicadas que pueden evitar esta restricción.

Las finas placas spline son isotrópicas, lo que significa que si giramos la ${\displaystyle x,z}$En el sistema de coordenadas, la estimación no cambiará, pero también asumimos que el mismo nivel de suavizado es apropiado en todas las direcciones. Esto suele considerarse razonable al suavizar con respecto a la ubicación espacial, pero en muchos otros casos la isotropía no es una suposición apropiada y puede generar sensibilidad a elecciones aparentemente arbitrarias de unidades de medida. Por ejemplo, si se suaviza con respecto a la distancia y el tiempo, un suavizador isotrópico dará resultados diferentes si la distancia se mide en metros y el tiempo en segundos, en comparación con lo que ocurriría si cambiáramos las unidades a centímetros y horas.

La segunda clase de generalizaciones al suavizado multidimensional aborda directamente este problema de invariancia de escala utilizando construcciones de splines de producto tensorial. ^{[ 11 ] [ 12 ] [ 13 ]} Dichos splines tienen penalizaciones de suavizado con múltiples parámetros de suavizado, que es el precio que se debe pagar por no asumir que el mismo grado de suavidad es apropiado en todas las direcciones.

Las splines de suavizado están relacionadas con, pero son distintas de:

• Splines de regresión . En este método, los datos se ajustan a un conjunto de funciones base de splines con un conjunto reducido de nodos, generalmente mediante mínimos cuadrados. No se aplica ninguna penalización por irregularidad. (Véase también splines de regresión adaptativa multivariante ).
• Splines penalizados . Esto combina los nodos reducidos de los splines de regresión con la penalización de rugosidad de los splines de suavizado. ^{[ 14 ] [ 15 ]}
• Método de splines de placa delgada y mapas elásticos para el aprendizaje de variedades . Este método combina lapenalización de mínimos cuadrados para el error de aproximación con la penalización de flexión y estiramiento de la variedad de aproximación y utiliza la discretización gruesa del problema de optimización .

El código fuente para el suavizado de splines se puede encontrar en los ejemplos del libro de Carl de Boor, A Practical Guide to Splines . Los ejemplos están escritos en el lenguaje de programación Fortran . El código fuente actualizado también está disponible en el sitio web oficial de Carl de Boor..

• Wahba, G. (1990). Modelos de splines para datos observacionales . SIAM, Filadelfia.
• Green, PJ y Silverman, BW (1994). Regresión no paramétrica y modelos lineales generalizados . CRC Press.
• De Boor, C. (2001). Una guía práctica de splines (Edición revisada) . Springer.