Hispanopedia Wiki
Articulo de referencia

regresión local

Curva LOESS ajustada a una población muestreada a partir de una onda sinusoidal con ruido uniforme añadido. La curva LOESS se aproxima a la onda sinusoidal original. La regresió...

Hispanopedia WikiContenido en espanolLectura gratuita
Curva LOESS ajustada a una población muestreada a partir de una onda sinusoidal con ruido uniforme añadido. La curva LOESS se aproxima a la onda sinusoidal original.

La regresión local o regresión polinómica local , [ 1 ] también conocida como regresión móvil , [ 2 ] es una generalización de la media móvil y la regresión polinómica . [ 3 ] Sus métodos más comunes, desarrollados inicialmente para el suavizado de diagramas de dispersión , son LOESS ( suavizado de diagramas de dispersión estimado localmente ) y LOWESS ( suavizado de diagramas de dispersión ponderado localmente ), ambos pronunciados / ˈloʊɛs / LOH -ess . Son dos métodos de regresión no paramétricos estrechamente relacionados que combinan múltiples modelos de regresión en un metamodelo basado en k vecinos más cercanos . En algunos campos, LOESS es conocido y comúnmente denominado filtro de Savitzky-Golay [ 4 ] [ 5 ] (propuesto 15 años antes que LOESS).

LOESS y LOWESS se basan en métodos clásicos , como la regresión lineal y no lineal de mínimos cuadrados . Abordan situaciones en las que los procedimientos clásicos no funcionan bien o no pueden aplicarse eficazmente sin un esfuerzo excesivo. LOESS combina gran parte de la simplicidad de la regresión lineal de mínimos cuadrados con la flexibilidad de la regresión no lineal . Para ello, ajusta modelos sencillos a subconjuntos localizados de los datos para construir una función que describe la parte determinista de la variación de los datos, punto por punto. De hecho, una de las principales ventajas de este método es que el analista de datos no necesita especificar una función global para ajustar un modelo a los datos, sino solo ajustar segmentos de los mismos.

La contrapartida de estas características es un mayor coste computacional. Debido a su elevado coste computacional, el método LOESS habría sido prácticamente imposible de utilizar en la época en que se desarrollaba la regresión por mínimos cuadrados. La mayoría de los demás métodos modernos de modelado de procesos son similares a LOESS en este aspecto. Estos métodos se han diseñado deliberadamente para aprovechar al máximo nuestra capacidad computacional actual y alcanzar objetivos que no se logran fácilmente con los enfoques tradicionales.

Una curva suave que pasa por un conjunto de puntos de datos obtenidos con esta técnica estadística se denomina curva loess , especialmente cuando cada valor suavizado se obtiene mediante una regresión cuadrática ponderada de mínimos cuadrados sobre el rango de valores de la variable criterio del diagrama de dispersión del eje y . Cuando cada valor suavizado se obtiene mediante una regresión lineal ponderada de mínimos cuadrados sobre el rango, se conoce como curva lowess. Sin embargo, algunos autores consideran lowess y loess como sinónimos. [ 6 ] [ 7 ]

Historia

La regresión local y los procedimientos estrechamente relacionados tienen una larga y rica historia, habiendo sido descubiertos y redescubiertos en diferentes campos en múltiples ocasiones. Un trabajo temprano de Robert Henderson [ 8 ] que estudiaba el problema de la graduación (un término para suavizado utilizado en la literatura actuarial) introdujo la regresión local utilizando polinomios cúbicos.

Específicamente, dejemosYj{\displaystyle Y_{j}}denotan una secuencia no graduada de observaciones. Siguiendo a Henderson, supongamos que solo los términos deY−h{\displaystyle Y_{-h}}aYh{\displaystyle Y_{h}}deben tenerse en cuenta al calcular el valor graduado deY0{\displaystyle Y_{0}}, yWj{\displaystyle W_{j}}es el peso que se debe asignarYj{\displaystyle Y_{j}}Henderson luego utiliza una aproximación polinómica local.a+bj+doj2+dj3{\displaystyle a+bj+cj^{2}+dj^{3}}y establece las siguientes cuatro ecuaciones para los coeficientes:

∑j=−hh(a+bj+doj2+dj3)Wj=∑j=−hhWjYj∑j=−hh(aj+bj2+doj3+dj4)Wj=∑j=−hhjWjYj∑j=−hh(aj2+bj3+doj4+dj5)Wj=∑j=−hhj2WjYj∑j=−hh(aj3+bj4+doj5+dj6)Wj=∑j=−hhj3WjYj{\displaystyle {\begin{aligned}\sum _{j=-h}^{h}(a+bj+cj^{2}+dj^{3})W_{j}&=\sum _{j=-h}^{h}W_{j}Y_{j}\\\sum _{j=-h}^{h}(aj+bj^{2}+cj^{3}+dj^{4})W_{j}&=\sum _{j=-h}^{h}jW_{j}Y_{j}\\\sum _{j=-h}^{h}(aj^{2}+bj^{3}+cj^{4}+dj^{5})W_{j}&=\sum _{j=-h}^{h}j^{2}W_{j}Y_{j}\\\sum _{j=-h}^{h}(aj^{3}+bj^{4}+cj^{5}+dj^{6})W_{j}&=\sum _{j=-h}^{h}j^{3}W_{j}Y_{j}\end{aligned}}}

Al resolver estas ecuaciones para los coeficientes del polinomio se obtiene el valor graduado,Y^0=a{\displaystyle {\hat {Y}}_{0}=a}.

Henderson fue más allá. En años anteriores, se habían desarrollado muchos métodos de graduación basados ​​en fórmulas de suma, que derivaban reglas de graduación a partir de fórmulas de suma (convolución de la serie de observaciones con un conjunto de ponderaciones elegido). Dos de estas reglas son las de 15 y 21 puntos de Spencer (1904). [ 9 ] Estas reglas de graduación se diseñaron cuidadosamente para tener una propiedad de reproducción cuadrática: si los valores sin graduar siguen exactamente una fórmula cuadrática, entonces los valores graduados son iguales a los valores sin graduar. Esta es una propiedad importante: una media móvil simple, por el contrario, no puede modelar adecuadamente los picos y valles en los datos. La intuición de Henderson fue demostrar que cualquier regla de graduación de este tipo puede representarse como un ajuste cúbico (o cuadrático) local para una elección apropiada de ponderaciones.

Se pueden encontrar discusiones adicionales sobre el trabajo histórico sobre graduación y ajuste polinomial local en Macaulay (1931), [ 10 ] Cleveland y Loader (1995); [ 11 ] y Murray y Bellhouse (2019). [ 12 ]

El filtro de Savitzky-Golay , introducido por Abraham Savitzky y Marcel JE Golay (1964) [ 13 ], amplió significativamente el método. Al igual que en su trabajo de fin de carrera anterior, se centró en datos con una variable predictora igualmente espaciada, donde (excluyendo los efectos de borde) la regresión local puede representarse como una convolución . Savitzky y Golay publicaron conjuntos extensos de coeficientes de convolución para diferentes órdenes de polinomios y anchos de ventana de suavizado.

Los métodos de regresión local comenzaron a aparecer extensamente en la literatura estadística en la década de 1970; por ejemplo, Charles J. Stone (1977), [ 14 ] Vladimir Katkovnik (1979) [ 15 ] y William S. Cleveland (1979). [ 16 ] Katkovnik (1985) [ 17 ] es el primer libro dedicado principalmente a los métodos de regresión local.

El trabajo teórico continuó apareciendo a lo largo de la década de 1990. Las contribuciones importantes incluyen Jianqing Fan e Irène Gijbels (1992) [ 18 ] estudiando propiedades de eficiencia, y David Ruppert y Matthew P. Wand (1994) [ 19 ] desarrollando una teoría de distribución asintótica para regresión local multivariada.

Una extensión importante de la regresión local es la Estimación de Verosimilitud Local, formulada por Robert Tibshirani y Trevor Hastie (1987). [ 20 ] Esta reemplaza el criterio de mínimos cuadrados locales con un criterio basado en la verosimilitud, extendiendo así el método de regresión local al entorno del modelo lineal generalizado ; por ejemplo, datos binarios, datos de conteo o datos censurados.

Las implementaciones prácticas de regresión local comenzaron a aparecer en el software estadístico en la década de 1980. Cleveland (1981) [ 21 ] introduce las rutinas LOWESS, destinadas al suavizado de diagramas de dispersión. Esto implementa el ajuste lineal local con una sola variable predictora y también introduce ponderación descendente de robustez para que el procedimiento sea resistente a los valores atípicos. Una implementación completamente nueva, LOESS, se describe en Cleveland y Susan J. Devlin (1988). [ 22 ] LOESS es un suavizador multivariado, capaz de manejar datos espaciales con dos (o más) variables predictoras, y utiliza (por defecto) ajuste cuadrático local. Tanto LOWESS como LOESS están implementados en los lenguajes de programación S y R. Véase también el software de ajuste local de Cleveland. [ 23 ]

Aunque a veces se utilizan indistintamente los términos Regresión Local, LOWESS y LOESS, este uso debe considerarse incorrecto. Regresión Local es un término general para el procedimiento de ajuste; LOWESS y LOESS son dos implementaciones distintas.

Definición del modelo

La regresión local utiliza un conjunto de datos que consta de observaciones, una o más variables "independientes" o "predictoras" y una variable "dependiente" o "de respuesta". El conjunto de datos constará de un númeronorte{\displaystyle n}observaciones. Las observaciones de la variable predictora se pueden denotarincógnita1,…,incógnitanorte{\displaystyle x_{1},\ldots ,x_{n}}y observaciones correspondientes de la variable de respuesta porY1,…,Ynorte{\displaystyle Y_{1},\ldots ,Y_{n}}.

Para facilitar la presentación, el desarrollo que se muestra a continuación asume una única variable predictora; la extensión a múltiples predictores (cuando laincógnitai{\displaystyle x_{i}}(son vectores) es conceptualmente sencillo. Se asume una relación funcional entre las variables predictoras y de respuesta: Yi=μ(incógnitai)+ϵi{\displaystyle Y_{i}=\mu (x_{i})+\epsilon _{i}} dóndeμ(incógnita){\displaystyle \mu (x)}es la función de regresión "suave" desconocida que se debe estimar, y representa la esperanza condicional de la respuesta, dado un valor de las variables predictoras. En el trabajo teórico, la "suavidad" de esta función se puede caracterizar formalmente estableciendo límites a las derivadas de orden superior.ϵi{\displaystyle \epsilon _{i}}representa el error aleatorio; para fines de estimación, se supone que tienen media cero. Se pueden hacer suposiciones más estrictas (por ejemplo, independencia e igualdad de varianza ) al evaluar las propiedades de las estimaciones.

La regresión local estima entonces la función.μ(incógnita){\displaystyle \mu (x)}, para un valor deincógnita{\displaystyle x}a la vez. Dado que se supone que la función es suave, los puntos de datos más informativos son aquellos cuyasincógnitai{\displaystyle x_{i}}los valores están cerca deincógnita{\displaystyle x}Esto se formaliza con un ancho de bandah{\displaystyle h}y una función de núcleo o de pesoW(⋅){\displaystyle W(\cdot )}, con observaciones a las que se les asignaron ponderaciones wi(incógnita)=W(incógnitai−incógnitah).{\displaystyle w_{i}(x)=W{\left({\frac {x_{i}-x}{h}}\right)}.} Una elección típica deW{\displaystyle W}, utilizado por Cleveland en LOWESS, esW(tú)=(1−|tú|3)3{\displaystyle W(u)=(1-|u|^{3})^{3}}para|tú|<1{\displaystyle |u|<1}, aunque cualquier función similar (con pico entú=0{\displaystyle u=0}y pequeños o 0 para valores grandes detú{\displaystyle u}) se puede utilizar. Cuestiones de selección y especificación del ancho de banda (qué tan grande debería serh{\displaystyle h}ser, y debería variar dependiendo del punto de ajusteincógnita{\displaystyle x}?) se posponen por ahora.

Un modelo local (generalmente un polinomio de bajo orden con gradopag≤3{\displaystyle p\leq 3}), expresado como μ(incógnitai)≈β0+β1(incógnitai−incógnita)+…+βpag(incógnitai−incógnita)pag{\displaystyle \mu (x_{i})\approx \beta _{0}+\beta _{1}(x_{i}-x)+\ldots +\beta _{p}(x_{i}-x)^{p}} Luego se ajusta mediante mínimos cuadrados ponderados : elegir coeficientes de regresión (β^0,…,β^pag){\displaystyle ({\hat {\beta }}_{0},\ldots ,{\hat {\beta }}_{p})}minimizar ∑i=1nortewi(incógnita)(Yi−β0−β1(incógnitai−incógnita)−…−βpag(incógnitai−incógnita)pag)2.{\displaystyle \sum _{i=1}^{n}w_{i}(x)\left(Y_{i}-\beta _{0}-\beta _{1}(x_{i}-x)-\ldots -\beta _{p}(x_{i}-x)^{p}\right)^{2}.} La estimación de regresión local deμ(incógnita){\displaystyle \mu (x)}es entonces simplemente la estimación de la intersección: μ^(incógnita)=β^0{\displaystyle {\sombrero {\mu }}(x)={\sombrero {\beta }}_{0}} mientras que los coeficientes restantes pueden interpretarse (hasta un factor depag¡{\displaystyle p!}) como estimaciones derivadas.

Cabe destacar que el procedimiento anterior produce la estimación.μ^(incógnita){\displaystyle {\sombrero {\mu }}(x)}para un valor deincógnita{\displaystyle x}. Al considerar un nuevo valor deincógnita{\displaystyle x}, un nuevo juego de pesaswi(incógnita){\displaystyle w_{i}(x)}Debe calcularse y el coeficiente de regresión debe estimarse de nuevo.

Representación matricial de la estimación de regresión local

Como ocurre con todas las estimaciones de mínimos cuadrados, los coeficientes de regresión estimados pueden expresarse en forma cerrada (véase Mínimos cuadrados ponderados para más detalles): β^=(incógnitaTWincógnita)−1incógnitaTWy{\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X^{\textsf {T}}WX} \right)^{-1}\mathbf {X^{\textsf {T}}W} \mathbf {y} } dóndeβ^{\displaystyle {\sombrero {\boldsymbol {\beta }}}}es un vector de los coeficientes de regresión locales; incógnita{\displaystyle \mathbf {X} }es elnorte×(pag+1){\displaystyle n\times (p+1)}matriz de diseño con entradas(incógnitai−incógnita)j{\displaystyle (x_{i}-x)^{j}};W{\displaystyle \mathbf {W} }es una matriz diagonal de los pesos de suavizadowi(incógnita){\displaystyle w_{i}(x)}; yy{\displaystyle \mathbf {y} }es un vector de las respuestasYi{\displaystyle Y_{i}}.

Esta representación matricial es fundamental para estudiar las propiedades teóricas de las estimaciones de regresión local. Con las definiciones adecuadas de las matrices de diseño y ponderación, se generaliza inmediatamente al contexto de múltiples predictores.

Problemas de selección: ancho de banda, modelo local, criterios de ajuste

La implementación de la regresión local requiere la especificación y selección de varios componentes:

  1. El ancho de banda y, más generalmente, los subconjuntos localizados de datos.
  2. El grado del polinomio local, o más generalmente, la forma del modelo local.
  3. La elección de la función de pesoW(⋅){\displaystyle W(\cdot )}.
  4. La elección del criterio de ajuste (mínimos cuadrados u otro).

Cada uno de estos componentes ha sido objeto de un estudio exhaustivo; a continuación se ofrece un resumen.

Subconjuntos localizados de datos; Ancho de banda

El ancho de bandah{\displaystyle h}Controla la resolución de la estimación de regresión local. Si h es demasiado pequeño, la estimación puede mostrar características de alta resolución que representan ruido en los datos, en lugar de una estructura real en la función media. Por el contrario, si h es demasiado grande, la estimación solo mostrará características de baja resolución y se puede perder una estructura importante. Esta es la compensación entre sesgo y varianza ; si h es demasiado pequeño, la estimación presenta una gran variación; mientras que con h grande , la estimación presenta un gran sesgo.

Por lo tanto, la elección cuidadosa del ancho de banda es crucial al aplicar la regresión local. Los métodos matemáticos para la selección del ancho de banda requieren, en primer lugar, criterios formales para evaluar el rendimiento de una estimación. Uno de estos criterios es el error de predicción: si se realiza una nueva observación enincógnita~{\displaystyle {\tilde {x}}}¿Qué tan precisa es la estimación?μ^(incógnita~){\displaystyle {\hat {\mu }}({\tilde {x}})}predecir la nueva respuestaY~{\displaystyle {\tilde {Y}}}¿

El rendimiento se evalúa a menudo utilizando una función de pérdida de error cuadrático. El error cuadrático medio de predicción es mi⁡[Y~−μ^(incógnita~)]2=mi⁡[Y~−μ(incógnita)+μ(incógnita)−μ^(incógnita~)]2=mi⁡[Y~−μ(incógnita)]2+mi⁡[μ(incógnita)−μ^(incógnita~)]2.{\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {Y}}-{\hat {\mu }}({\tilde {x}})\right]^{2}&=\operatorname {E} \left[{\tilde {Y}}-\mu (x)+\mu (x)-{\hat {\mu }}({\tilde {x}})\right]^{2}\\&=\operatorname {E} \left[{\tilde {Y}}-\mu (x)\right]^{2}+\operatorname {E} \left[\mu (x)-{\hat {\mu }}({\tilde {x}})\right]^{2}.\end{aligned}}} El primer términomi(Y~−μ(incógnita))2{\displaystyle E\left({\tilde {Y}}-\mu (x)\right)^{2}}es la variación aleatoria de la observación; esto es completamente independiente de la estimación de regresión local. El segundo término,mi⁡[μ(incógnita)−μ^(incógnita~)]2{\displaystyle \operatorname {E} \left[\mu (x)-{\hat {\mu }}({\tilde {x}})\right]^{2}} es el error cuadrático medio de estimación. Esta relación muestra que, para la pérdida de error cuadrático, minimizar el error de predicción y el error de estimación son problemas equivalentes.

En la selección global de ancho de banda, estas medidas se pueden integrar a lo largo delincógnita{\displaystyle x}espacio ("error cuadrático medio integrado", que se usa a menudo en trabajos teóricos), o promediado sobre el realincógnitai{\displaystyle x_{i}}(más útil para implementaciones prácticas). Algunas técnicas estándar de selección de modelos se pueden adaptar fácilmente a la regresión local:

  1. Validación cruzada , que estima el error cuadrático medio de predicción.
  2. El criterio Cp de Mallow y el criterio de información de Akaike , que estiman el error cuadrático medio de estimación.
  3. Otros métodos que intentan estimar directamente los componentes de varianza y sesgo del error de estimación.

Cualquiera de estos criterios puede minimizarse para producir un selector automático de ancho de banda. Cleveland y Devlin [ 22 ] prefieren un método gráfico (el gráfico M ) para mostrar visualmente la relación entre sesgo y varianza y guiar la elección del ancho de banda.

Una pregunta no abordada anteriormente es cómo debería depender el ancho de banda del punto de ajuste.incógnita{\displaystyle x}A menudo se utiliza un ancho de banda constante, mientras que LOWESS y LOESS prefieren un ancho de banda de vecino más cercano, lo que significa que h es menor en regiones con muchos puntos de datos. Formalmente, el parámetro de suavizado,α{\displaystyle \alpha }es la fracción del número total n de puntos de datos que se utilizan en cada ajuste local. El subconjunto de datos utilizado en cada ajuste de mínimos cuadrados ponderados comprende, por lo tanto,norteα{\displaystyle n\alpha }puntos (redondeados al entero más cercano) cuyos valores de variables explicativas están más cerca del punto en el que se está estimando la respuesta. [ 7 ]

Los métodos más sofisticados intentan elegir el ancho de banda de forma adaptativa ; es decir, elegir un ancho de banda en cada punto de ajuste.incógnita{\displaystyle x}aplicando criterios como la validación cruzada localmente dentro de la ventana de suavizado. Un ejemplo temprano de esto es el "supersmoother" de Jerome H. Friedman [ 24 ] , que utiliza la validación cruzada para elegir entre ajustes lineales locales en diferentes anchos de banda.

Grado de polinomios locales

La mayoría de las fuentes, tanto en trabajos teóricos como computacionales, utilizan polinomios de bajo orden como modelo local, con un grado polinómico que va de 0 a 3.

El modelo de grado 0 (constante local) es equivalente a un suavizador de núcleo ; generalmente se atribuye a Èlizbar Nadaraya (1964) [ 25 ] y GS Watson (1964). [ 26 ] Este es el modelo más simple de usar, pero puede sufrir sesgos al ajustar cerca de los límites del conjunto de datos.

El ajuste lineal local (grado 1) puede reducir sustancialmente el sesgo en los límites.

Las funciones cuadráticas locales (grado 2) y cúbicas locales (grado 3) pueden dar como resultado mejores ajustes, particularmente cuando la función media subyacenteμ(incógnita){\displaystyle \mu (x)}tiene una curvatura sustancial, o equivalentemente una gran segunda derivada.

En teoría, los polinomios de mayor orden pueden conducir a una convergencia más rápida de la estimación.μ^(incógnita){\displaystyle {\hat {\mu }}(x)}al verdadero significadoμ(incógnita){\displaystyle \mu (x)}, siempre queμ(incógnita){\displaystyle \mu (x)}tiene un número suficiente de derivadas . Véase CJ Stone (1980). [ 27 ] Generalmente, se requiere un tamaño de muestra grande para que se logre esta convergencia más rápida. También surgen problemas computacionales y de estabilidad, particularmente para el suavizado multivariado. Generalmente no se recomienda usar polinomios locales con grado mayor que 3.

Al igual que con la selección del ancho de banda, se pueden utilizar métodos como la validación cruzada para comparar los ajustes obtenidos con diferentes grados de polinomio.

Función de peso

Como se mencionó anteriormente, la función de ponderación asigna mayor peso a los puntos de datos más cercanos al punto de estimación y menor peso a los puntos de datos más alejados. El uso de las ponderaciones se basa en la idea de que los puntos cercanos entre sí en el espacio de variables explicativas tienen mayor probabilidad de estar relacionados entre sí de forma sencilla que los puntos más distantes. Siguiendo esta lógica, los puntos que tienen mayor probabilidad de ajustarse al modelo local influyen más en las estimaciones de los parámetros del modelo local. Los puntos que tienen menor probabilidad de ajustarse al modelo local influyen menos en dichas estimaciones .

Cleveland (1979) [ 16 ] establece cuatro requisitos para la función de peso:

  1. No negativo:W(incógnita)>0{\displaystyle W(x)>0}para|incógnita|<1{\displaystyle |x|<1}.
  2. Simetría:W(−incógnita)=W(incógnita){\displaystyle W(-x)=W(x)}.
  3. Monótono:W(incógnita){\displaystyle W(x)}es una función no creciente paraincógnita≥0{\displaystyle x\geq 0}.
  4. Soporte limitado:W(incógnita)=0{\displaystyle W(x)=0}para|incógnita|≥1{\displaystyle |x|\geq 1}.

VA Epanechnikov (1969) [ 28 ] consideró la eficiencia asintótica de las funciones de ponderación en el contexto de la estimación de la densidad del núcleo; J. Fan (1993) [ 29 ] derivó resultados similares para la regresión local. Concluyen que el núcleo cuadrático,W(incógnita)=1−incógnita2{\displaystyle W(x)=1-x^{2}}para|incógnita|≤1{\displaystyle |x|\leq 1}Presenta la máxima eficiencia con una función de pérdida de error cuadrático medio. Consulte «Funciones de núcleo de uso común» para obtener más información sobre los diferentes núcleos y su eficiencia.

Otras consideraciones, además del MSE, también son relevantes para la elección de la función de ponderación. Propiedades de suavidad deW(incógnita){\displaystyle W(x)}afecta directamente la suavidad de la estimaciónμ^(incógnita){\displaystyle {\hat {\mu }}(x)}. En particular, el núcleo cuadrático no es diferenciable enincógnita=±1{\displaystyle x=\pm 1}, yμ^(incógnita){\displaystyle {\hat {\mu }}(x)}no es diferenciable como resultado. La función de peso tricúbica , W(incógnita)=(1−|incógnita|3)3;|incógnita|<1{\displaystyle W(x)=(1-|x|^{3})^{3};|x|<1} Se ha utilizado en LOWESS y otros programas de regresión local; esto combina una diferenciabilidad de orden superior con una alta eficiencia MSE.

Una crítica a las funciones de ponderación con soporte limitado es que pueden generar problemas numéricos (por ejemplo, una matriz de diseño inestable o singular) al ajustarse a regiones con datos escasos. Por este motivo, algunos autores optan por utilizar el núcleo gaussiano, mientras que otros utilizan funciones con soporte ilimitado.

Elección del criterio de ajuste

Como se describió anteriormente, la regresión local utiliza un criterio de mínimos cuadrados ponderados localmente para estimar los parámetros de regresión. Esto hereda muchas de las ventajas (facilidad de implementación e interpretación; buenas propiedades cuando los errores tienen una distribución normal) y desventajas (sensibilidad a valores extremos y atípicos; ineficiencia cuando los errores tienen varianza desigual o no tienen una distribución normal) que suelen asociarse con la regresión de mínimos cuadrados.

Estas desventajas pueden abordarse reemplazando la estimación local de mínimos cuadrados por otro método. Aquí se presentan dos ideas: la estimación de verosimilitud local, que aplica la estimación local al modelo lineal generalizado , y la regresión local robusta, que adapta métodos de la regresión robusta .

Estimación de probabilidad local

En la estimación de verosimilitud local, desarrollada en Tibshirani y Hastie (1987), [ 20 ] las observacionesYi{\displaystyle Y_{i}}Se supone que provienen de una familia paramétrica de distribuciones, con una función de densidad de probabilidad conocida (o función de masa, para datos discretos), Yi∼F(y,θ(incógnitai)),{\displaystyle Y_{i}\sim f(y,\theta (x_{i})),} donde la función de parámetrosθ(incógnita){\displaystyle \theta (x)}es la cantidad desconocida que se va a estimar. Para estimarθ(incógnita){\displaystyle \theta (x)}en un punto determinadoincógnita{\displaystyle x}, el criterio de probabilidad local es ∑i=1nortewi(incógnita)registro⁡[F(Yi,β0+β1(incógnitai−incógnita)+⋯+βpag(incógnitai−incógnita)pag)].{\displaystyle \sum _{i=1}^{n}w_{i}(x)\log \left[f{\left(Y_{i},\beta _{0}+\beta _{1}(x_{i}-x)+\dots +\beta _{p}\left(x_{i}-x\right)^{p}\right)}\right].} Estimaciones de los coeficientes de regresión (en particular,β^0{\displaystyle {\hat {\beta }}_{0}}) se obtienen maximizando el criterio de verosimilitud local, y la estimación de verosimilitud local es θ^(incógnita)=β^0.{\displaystyle {\hat {\theta }}(x)={\hat {\beta }}_{0}.}

CuandoF(y,θ(incógnita)){\displaystyle f(y,\theta (x))}es la distribución normal yθ(incógnita){\displaystyle \theta (x)}Si se utiliza la función media, el método de verosimilitud local se reduce a la regresión estándar de mínimos cuadrados locales. Para otras familias de verosimilitud, generalmente no existe una solución analítica para la estimación de la verosimilitud local, y se deben utilizar procedimientos iterativos, como los mínimos cuadrados ponderados iterativamente, para calcular dicha estimación.

Ejemplo (regresión logística local). Todas las observaciones de respuesta son 0 o 1, y la función media es la probabilidad de "éxito".μ(incógnitai)=Pr(Yi=1|incógnitai){\displaystyle \mu (x_{i})=\Pr(Y_{i}=1|x_{i})}. Desdeμ(incógnitai){\displaystyle \mu (x_{i})}debe estar entre 0 y 1, no se debe utilizar un modelo polinómico local paraμ(incógnita){\displaystyle \mu (x)}directamente. En cambio, la transformación logística θ(incógnita)=registro⁡(μ(incógnita)1−μ(incógnita)){\displaystyle \theta (x)=\log \left({\frac {\mu (x)}{1-\mu (x)}}\right)} puede utilizarse; equivalentemente, 1−μ(incógnita)=11+miθ(incógnita);μ(incógnita)=miθ(incógnita)1+miθ(incógnita){\displaystyle {\begin{aligned}1-\mu (x)&={\frac {1}{1+e^{\theta (x)}}};\\\mu (x)&={\frac {e^{\theta (x)}}{1+e^{\theta (x)}}}\end{aligned}}} y la función de masa es F(Yi,θ(incógnitai))=miYiθ(incógnitai)1+miθ(incógnitai).{\displaystyle f(Y_{i},\theta (x_{i}))={\frac {e^{Y_{i}\theta (x_{i})}}{1+e^{\theta (x_{i})}}}.}

En J. Fan, Nancy E. Heckman y MPWand (1995) se desarrolla una teoría asintótica para la estimación de verosimilitud local ; [ 30 ] el libro Loader (1999) [ 31 ] analiza muchas más aplicaciones de la verosimilitud local.

Regresión local robusta

Para abordar la sensibilidad a los valores atípicos, se pueden emplear técnicas de regresión robusta . En la estimación M local , el criterio de mínimos cuadrados local se reemplaza por un criterio de la forma ∑i=1nortewi(incógnita)ρ(Yi−β0−⋯−βpag(incógnitai−incógnita)pags){\displaystyle \sum _{i=1}^{n}w_{i}(x)\,\rho {\left({\frac {Y_{i}-\beta _{0}-\dots -\beta _{p}(x_{i}-x)^{p}}{s}}\right)}} dóndeρ(⋅){\displaystyle \rho (\cdot )}es una función de robustez ys{\displaystyle s}es un parámetro de escala. La discusión sobre las ventajas de las diferentes opciones de función de robustez se deja mejor para la literatura sobre regresión robusta . El parámetro de escalas{\displaystyle s}También debe estimarse. Las referencias para la estimación local de M incluyen Katkovnik (1985) [ 17 ] y Alexandre Tsybakov (1986). [ 32 ]

Las iteraciones de robustez en LOWESS y LOESS corresponden a la función de robustez definida por ρ′(tú)=tú(1−tú2/6)2;|tú|<1{\displaystyle \rho '(u)=u(1-u^{2}/6)^{2};|u|<1} y una estimación global robusta del parámetro de escala.

Siρ(tú)=|tú|{\displaystyle \rho (u)=|u|}, el localL1{\displaystyle L_{1}}criterio ∑i=1nortewi(incógnita)|Yi−β0−…−βpag(incógnitai−incógnita)pag|{\displaystyle \sum _{i=1}^{n}w_{i}(x)\left|Y_{i}-\beta _{0}-\ldots -\beta _{p}(x_{i}-x)^{p}\right|} resultados; esto no requiere un parámetro de escala. Cuandopag=0{\displaystyle p=0}, este criterio se minimiza mediante una mediana ponderada localmente; localL1{\displaystyle L_{1}}La regresión puede interpretarse como la estimación de la respuesta mediana , en lugar de la media . Si la función de pérdida está sesgada, se convierte en una regresión de cuantiles local. Véase Keming Yu y MC Jones (1998). [ 33 ]

Una alternativa reciente consiste en modificar los pesos de regresión local en lugar de la función de pérdida. Shulman (2025) propone una regresión polinómica local robusta con núcleos de similitud , en la que la ponderación del núcleo se generaliza para incorporar tanto las variables predictoras como las de respuesta; en una versión, el criterio de mínimos cuadrados locales se repondera mediante una estimación de la densidad condicional.F^Y∣incógnita(Yi∣incógnitai){\displaystyle {\hat {f}}_{Y\mid X}(Y_{i}\mid X_{i})}, de modo que las observaciones con baja densidad condicional local estimada se ponderan menos. Esto proporciona robustez frente a valores atípicos y puntos de alto apalancamiento sin las múltiples iteraciones de robustez utilizadas en métodos como LOWESS y LOESS. [ 34 ]

Ventajas

Como se mencionó anteriormente, la principal ventaja de LOESS sobre muchos otros métodos radica en que el proceso de ajuste de un modelo a los datos de muestra no comienza con la especificación de una función. En cambio, el analista solo debe proporcionar un valor para el parámetro de suavizado y el grado del polinomio local. Además, LOESS es muy flexible, lo que lo hace ideal para modelar procesos complejos para los que no existen modelos teóricos. Estas dos ventajas, junto con la simplicidad del método, convierten a LOESS en uno de los métodos de regresión modernos más atractivos para aplicaciones que se ajustan al marco general de la regresión por mínimos cuadrados, pero que presentan una estructura determinista compleja.

Aunque resulta menos evidente que en otros métodos relacionados con la regresión lineal por mínimos cuadrados, LOESS también ofrece la mayoría de las ventajas que suelen compartir dichos procedimientos. La más importante es la teoría para calcular las incertidumbres en la predicción y la calibración. Muchos otros ensayos y procedimientos utilizados para la validación de modelos de mínimos cuadrados también pueden extenderse a los modelos LOESS .

Desventajas

LOESS utiliza los datos de forma menos eficiente que otros métodos de mínimos cuadrados. Requiere conjuntos de datos bastante grandes y densamente muestreados para producir buenos modelos. Esto se debe a que LOESS se basa en la estructura de datos local al realizar el ajuste local. Por lo tanto, LOESS proporciona un análisis de datos menos complejo a cambio de mayores costos experimentales. [ 7 ]

Otra desventaja de LOESS es que no produce una función de regresión fácilmente representable mediante una fórmula matemática. Esto puede dificultar la transferencia de los resultados de un análisis a otras personas. Para transferir la función de regresión, se necesitaría el conjunto de datos y el software para los cálculos de LOESS. En la regresión no lineal , en cambio, basta con escribir una función para obtener estimaciones de los parámetros desconocidos y la incertidumbre estimada. Dependiendo de la aplicación, esto puede ser una desventaja importante o menor al usar LOESS. En particular, la forma simple de LOESS no se puede utilizar para el modelado mecanicista, donde los parámetros ajustados especifican propiedades físicas particulares de un sistema.

Finalmente, como se mencionó anteriormente, LOESS es un método computacionalmente intensivo (con la excepción de datos espaciados uniformemente, donde la regresión puede formularse como un filtro de respuesta de impulso finito no causal ). LOESS también es susceptible a los efectos de los valores atípicos en el conjunto de datos, al igual que otros métodos de mínimos cuadrados. Existe una versión iterativa y robusta de LOESS [Cleveland (1979)] que puede utilizarse para reducir la sensibilidad de LOESS a los valores atípicos , pero un número excesivo de valores atípicos extremos aún puede superar incluso el método robusto; también se han propuesto otros métodos de regresión local robusta no iterativos. [ 34 ]

Lecturas adicionales

Libros que cubren sustancialmente la regresión local y las extensiones:

  • Macaulay (1931) "El suavizado de series temporales", [ 10 ] analiza métodos de graduación con varios capítulos relacionados con el ajuste polinómico local.
  • Katkovnik (1985) "Identificación no paramétrica y suavizado de datos" [ 17 ] en ruso.
  • Fan y Gijbels (1996) "Modelado polinomial local y sus aplicaciones". [ 35 ]
  • Loader (1999) "Regresión local y verosimilitud". [ 31 ]
  • Fotheringham, Brunsdon y Charlton (2002), "Regresión ponderada geográficamente" [ 36 ] (un desarrollo de la regresión local para datos espaciales).

Capítulos de libros, Reseñas:

  • "Suavizado mediante regresión local: principios y métodos" [ 11 ]
  • "Regresión local y verosimilitud", Capítulo 13 de Dinámica cerebral observada , Mitra y Bokil (2007) [ 37 ]
  • Rafael Irizarry , "Regresión local". Capítulo 3 de "Estadística no paramétrica aplicada y moderna". [ 38 ]

Véase también

Referencias

Citas

  1. ↑ Fox y Weisberg 2018 , Apéndice.
  2. ↑ Harrell 2015 , pág. 29.
  3. ↑ Garimella 2017 .
  4. ^ "Filtrado Savitzky-Golay - MATLAB sgolayfilt" . Mathworks.com .
  5. ↑ "scipy.signal.savgol_filter — Guía de referencia de SciPy v0.16.1" . Docs.scipy.org .
  6. ↑ Kristen Pavlik, Agencia de Protección Ambiental de EE. UU., Loess (o Lowess) , Pasos de Nutrientes , julio de 2016.
  7. 1 2 3 NIST, "LOESS (también conocido como LOWESS)" , sección 4.1.4.4, Manual electrónico de métodos estadísticos de NIST/SEMATECH, (consultado el 14 de abril de 2017)
  8. ↑ Henderson, R. Nota sobre la graduación por promedio ajustado. Actuarial Society of America Transactions 17, 43-48, 1916. archive.org
  9. ↑ John Spencer (abril de 1904). "Sobre la gradación de las tasas de enfermedad y mortalidad presentadas por la experiencia de la Unidad de Oddfellows de Manchester durante el período 1893-97". Journal of the Institute of Actuaries . 38 (4): 334-343 . doi : 10.1017/S0020268100008076 . ISSN 0020-2681 . JSTOR 41136340. Wikidata Q127775139 .   
  10. 1 2 Frederick Macaulay (enero de 1931). El suavizado de series temporales . Oficina Nacional de Investigación Económica . ISBN 0-87014-018-3. LCCN 31009133 . S2CID 121925426 . Wikidata Q134465853 .   {{cite book}}: Incompatibilidad de ISBN/Fecha ( ayuda )
  11. 1 2 William S. Cleveland ; Catherine Loader (1996). " Suavizado mediante regresión local: principios y métodos". Teoría estadística y aspectos computacionales del suavizado . Contribuciones a la estadística: 10–49 . doi : 10.1007/978-3-642-48425-4_2 . S2CID 14593932. Wikidata Q132138257 .  
  12. ↑ Lori Murray; David Richard Bellhouse (11 de junio de 2019). "El método de suavizado de WF Sheppard : un precursor de la regresión polinómica local". International Statistical Review . 87 (3): 604– 612. doi : 10.1111/INSR.12330 . ISSN 0306-7734 . JSTOR 48554897. Wikidata Q127772934 .   
  13. ↑ Abraham Savitzky ; Marcel JE Golay (julio de 1964). "Suavizado y diferenciación de datos mediante procedimientos simplificados de mínimos cuadrados". Analytical Chemistry . 36 (8): 1627– 1639. doi : 10.1021/AC60214A047 . ISSN 0003-2700 . Wikidata Q56769732 .  
  14. ↑ Charles J. Stone (julio de 1977). "Regresión no paramétrica consistente". Annals of Statistics . 5 (4): 595– 620. doi : 10.1214/AOS/1176343886 . ISSN 0090-5364 . JSTOR 2958783 . MR 0443204 . Zbl 0366.62051 . Wikidata Q56533608 .     
  15. ↑ Katkovnik, Vladimir (1979), "Métodos lineales y no lineales de análisis de regresión no paramétrica", Control automático soviético , 12 ( 5): 25–34
  16. 1 2 William S. Cleveland (diciembre de 1979). "Regresión ponderada localmente robusta y diagramas de dispersión suavizados". Journal of the American Statistical Association . 74 (368): 829– 836. doi : 10.1080/01621459.1979.10481038 . ISSN 0162-1459 . JSTOR 2286407 . MR 0556476 . Zbl 0423.62029 . Wikidata Q30052922 .     
  17. ^ Vladimir Katkovnik (1985), Непараметрическая идентификация и сглаживание данных. Método de aplicación local. (en ruso), Nauka , LCCN 86141102 , Zbl 0576.62050 , Wikidata Q132129931   
  18. ↑ Jianqing Fan ; Irène Gijbels (diciembre de 1992). "Variable Bandwidth and Local Linear Regression Smoothers". Annals of Statistics . 20 (4): 2008– 2036. doi : 10.1214/ AOS /1176348900 . ISSN 0090-5364 . JSTOR 2242378. S2CID 8309667. Wikidata Q132202273 .    
  19. ↑ David Ruppert; Matt Wand (septiembre de 1994). "Regresión de mínimos cuadrados ponderados localmente multivariante" . Annals of Statistics . 22 (3): 1346– 1370. doi : 10.1214/AOS/1176325632 . ISSN 0090-5364 . JSTOR 2242229. MR 1311979. Zbl 0821.62020 . Wikidata Q132202598 .     
  20. 1 2 Robert Tibshirani ; Trevor Hastie (1987). "Estimación de verosimilitud local". Journal of the American Statistical Association . 82 (398): 559– 567. doi : 10.1080/01621459.1987.10478466 . ISSN 0162-1459 . JSTOR 2289465. Zbl 0626.62041 . Wikidata Q132187702 .    
  21. ↑ William S. Cleveland (febrero de 1981). "LOWESS: Un programa para suavizar diagramas de dispersión mediante regresión ponderada localmente robusta". The American Statistician . 35 (1): 54. doi : 10.2307/2683591 . ISSN 0003-1305 . JSTOR 2683591. Wikidata Q29541549 .   
  22. 1 2 William S. Cleveland ; Susan J. Devlin (septiembre de 1988). "Regresión ponderada localmente: un enfoque para el análisis de regresión mediante ajuste local". Journal of the American Statistical Association . 83 (403): 596– 610. doi : 10.1080/01621459.1988.10478639 . ISSN 0162-1459 . JSTOR 2289282. Zbl 1248.62054 . Wikidata Q29393395 .    
  23. ↑ Cleveland, William . "Software de ajuste local" . Archivado del original el 12 de septiembre de 2005.
  24. ↑ Friedman, Jerome H. (octubre de 1984), Un suavizador de intervalo variable (PDF) , Informe técnico, Laboratorio de Estadística Computacional LCS 5; SLAC PUB-3466, doi : 10.2171/1447470 (inactivo el 28 de enero de 2026){{citation}}: CS1 maint: DOI inactivo desde enero de 2026 ( enlace )
  25. ↑ EA Nadaraya (enero de 1964). "Sobre la estimación de la regresión". Teoría de la probabilidad y sus aplicaciones . 9 (1): 141– 142. doi : 10.1137/1109020 . ISSN 0040-585X . Wikidata Q29303512 .  
  26. ↑ Watson, GS, "Análisis de regresión suave", Sankhya Series A , 26 : 359–372
  27. ↑ Charles J. Stone (noviembre de 1980). "Tasas óptimas de convergencia para estimadores no paramétricos". Annals of Statistics . 8 (6): 1348– 1360. doi : 10.1214/AOS/1176345206 . ISSN 0090-5364 . JSTOR 2240947 . MR 0594650 . Zbl 0451.62033 . Wikidata Q132272803 .     
  28. ↑ VA Epanechnikov (enero de 1969). "Estimación no paramétrica de una densidad de probabilidad multivariada". Teoría de la probabilidad y sus aplicaciones . 14 (1). Traducido por B. Seckler: 153–158 . doi : 10.1137/1114019 . ISSN 0040-585X . Wikidata Q57308723 .  
  29. ↑ Jianqing Fan (marzo de 1993). "Suavizadores de regresión lineal local y sus eficiencias minimax" . Annals of Statistics . 21 (1): 196– 216. doi : 10.1214/AOS/1176349022 . ISSN 0090-5364 . Zbl 0773.62029 . Wikidata Q132691957 .   
  30. ↑ Jianqing Fan ; Nancy E. Heckman ; Matt Wand (marzo de 1995). "Regresión de núcleo polinomial local para modelos lineales generalizados y funciones de cuasi-verosimilitud". Journal of the American Statistical Association . 90 (429): 141– 150. doi : 10.2307/2291137 . ISSN 0162-1459 . JSTOR 2291137. Zbl 0818.62036 . Wikidata Q132508409 .    
  31. 1 2 Catherine Loader (1999). Regresión local y verosimilitud . Estadística y computación. Springer Nature . doi : 10.1007/B98858 . ISBN 978-0-387-98775-0. LCCN 99014732 . SEÑOR 1704236 . OL 14851039W . Zbl 0929.62046 . Wikidata Q59410587 .     
  32. ↑ Tsybakov, Alexandre B., "Reconstrucción robusta de funciones mediante el método de aproximación local.", Problemas de transmisión de información , 22 : 133–146
  33. ↑ Yu, Keming; Jones, MC (1998), "Regresión lineal local de cuantiles", Journal of the American Statistical Association , 93 (441): 228– 237, Bibcode : 1998JASA...93..228Y , doi : 10.1080/01621459.1998.10474104
  34. 1 2 Shulman, Yaniv (2025). "Regresión polinómica local robusta con núcleos de similitud". arXiv : 2501.10729 [ stat.ME ].
  35. ↑ Jianqing Fan ; Irène Gijbels (1996). Modelado polinomial local y sus aplicaciones . Monografías sobre estadística y probabilidad aplicada. Chapman & Hall . doi : 10.1201/9780203748725 . ISBN 978-0-203-74872-5. SEÑOR 1383587 . Zbl 0873.62037 . Wikidata Q134377589 .   
  36. ↑ A. Stewart Fotheringham ; Chris Brunsdon; Martin Charlton (21 de febrero de 2003). Regresión ponderada geográficamente: el análisis de relaciones espacialmente variables . Wiley . ISBN 978-0-470-85525-6. LCCN 2003272388 . Wikidata Q133002722 .  
  37. ↑ Partha Mitra ; Hemant Bokil (6 de diciembre de 2007). Dinámica cerebral observada . Oxford University Press . doi : 10.1093/ACPROF:OSO/9780195178081.001.0001 . ISBN 978-0-19-986482-9. LCCN 2007019012 . Wikidata Q57575432 .  
  38. ↑ Irizarry, Rafael. "Estadística moderna y no paramétrica aplicada" . Consultado el 16 de mayo de 2025 .

Fuentes

  • Fox, John; Weisberg, Sanford (2018). «Apéndice: Regresión no paramétrica en R» (PDF) . An R Companion to Applied Regression (3.ª  ed.). SAGE. ISBN 978-1-5443-3645-9.
  • Garimella, Rao Veerabhadra (22 de junio de 2017). Una introducción sencilla a los mínimos cuadrados móviles y la estimación de regresión local (Informe). Laboratorio Nacional de Los Alamos. doi : 10.2172/1367799 . OSTI 1367799 . 
  • Harrell, Frank E. Jr. (2015). Estrategias de modelado de regresión: con aplicaciones a modelos lineales, regresión logística y ordinal, y análisis de supervivencia . Springer. ISBN 978-3-319-19425-7.
  • Sección sobre LOESS del Manual de Estadística de Ingeniería del NIST
  • R: Ajuste de regresión polinómica local de la función Loess en R
  • R: Suavizado de diagramas de dispersión con la función Lowess en R
  • La función supsmu (SuperSmoother de Friedman) en R
  • LOESS de cuantiles : un método para realizar regresión local en una ventana móvil de cuantiles (con código R).
  • Nate Silver, Cómo está cambiando la opinión sobre el matrimonio entre personas del mismo sexo y qué significa : ejemplo de LOESS frente a regresión lineal.

Dominio público Este artículo incorpora material de dominio público del Instituto Nacional de Estándares y Tecnología.