Regresión polinómica

En estadística , la regresión polinómica es una forma de análisis de regresión en la que la relación entre la variable independiente x y la variable dependiente y se modela como un polinomio en x . La regresión polinómica ajusta una relación no lineal entre el valor de x y la media condicional correspondiente de y , denotada por E( y  | x ). Aunque la regresión polinómica ajusta un modelo no lineal a los datos, como problema de estimación estadística es lineal, en el sentido de que la función de regresión E( y  | x ) es lineal en los parámetros desconocidos que se estiman a partir de los datos . Por lo tanto, la regresión polinómica es un caso especial de regresión lineal múltiple . 

Las variables explicativas (independientes) resultantes de la expansión polinómica de las variables "de referencia" se conocen como términos de grado superior. Dichas variables también se utilizan en contextos de clasificación . ^{[ 1 ]}

Los modelos de regresión polinomial se ajustan generalmente mediante el método de mínimos cuadrados . El método de mínimos cuadrados minimiza la varianza de los estimadores insesgados de los coeficientes, bajo las condiciones del teorema de Gauss-Markov . El método de mínimos cuadrados fue publicado en 1805 por Legendre y en 1809 por Gauss . El primer diseño de un experimento para regresión polinomial apareció en un artículo de Gergonne de ^{1815. [} 2 ^{] [ 3 ] En} el siglo XX, la regresión polinomial desempeñó un papel importante en el desarrollo del análisis de regresión , con un mayor énfasis en cuestiones de diseño e inferencia . ^{[ 4 ]} Más recientemente, el uso de modelos polinomiales se ha complementado con otros métodos, y los modelos no polinomiales tienen ventajas para algunas clases de problemas.

El objetivo del análisis de regresión es modelar el valor esperado de una variable dependiente y en términos del valor de una variable independiente (o vector de variables independientes) x . En la regresión lineal simple, el modelo

${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon ,\,}$

se utiliza, donde ε es un error aleatorio no observado con media cero condicionado a una variable escalar x . En este modelo, por cada aumento de una unidad en el valor de x , la esperanza condicional de y aumenta en β ₁ unidades.

En muchos casos, dicha relación lineal puede no cumplirse. Por ejemplo, si modelamos el rendimiento de una síntesis química en función de la temperatura a la que se lleva a cabo, podemos encontrar que el rendimiento mejora en una cantidad diferente por cada unidad de aumento de temperatura. O podemos encontrar que el rendimiento disminuye al aumentar la temperatura (pero solo para un cierto rango de temperaturas) y aumenta al aumentar la temperatura en un rango diferente de temperaturas. En este caso, podríamos proponer un modelo cuadrático de la forma

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,}$

En este modelo, cuando la temperatura aumenta de x a x  +  1 unidades, el rendimiento esperado cambia en${\displaystyle \beta _{1}+\beta _{2}(2x+1).}$(Esto se puede observar obteniendo la derivada con respecto a x de la fórmula de regresión). Para cambios infinitesimales en x , el efecto sobre y viene dado por la derivada total con respecto a x :${\displaystyle \beta _ {1}+2 \beta _ {2}x.}$El hecho de que el cambio en el rendimiento dependa de x es lo que hace que la relación entre x e y no sea lineal, aunque el modelo sea lineal en los parámetros que se van a estimar.

En general, podemos modelar el valor esperado de y como un polinomio de grado ⁿ , lo que da como resultado el modelo general de regresión polinómica.

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,}$

Convenientemente, todos estos modelos son lineales desde el punto de vista de la estimación , ya que la función de regresión es lineal en términos de los parámetros desconocidos β₀ _, β₁ , .... Por lo tanto, para el análisis de mínimos cuadrados , los problemas computacionales e inferenciales de la regresión polinómica pueden abordarse completamente utilizando las técnicas de _regresión múltiple . Esto se logra tratando x₁ , x₂ ^, ... como variables independientes distintas en un modelo de regresión múltiple .   

El modelo de regresión polinómica

${\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)}$

puede expresarse en forma matricial en términos de una matriz de diseño${\displaystyle \mathbf {X} }$, un vector de respuesta${\displaystyle {\vec {y}}}$, un vector de parámetros${\displaystyle {\vec {\beta }}}$y un vector${\displaystyle {\vec {\varepsilon }}}$de errores aleatorios. La i -ésima fila de${\displaystyle \mathbf {X} }$y${\displaystyle {\vec {y}}}$contendrá los valores x e y para la i -ésima muestra de datos. Entonces, el modelo se puede escribir como un sistema de ecuaciones lineales :

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}$

que cuando se utiliza la notación matricial pura se escribe como

${\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,}$

El vector de coeficientes de regresión polinómica estimados (utilizando la estimación de mínimos cuadrados ordinarios ) es

${\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,}$

suponiendo m < n, lo cual es necesario para que la matriz sea invertible; entonces, dado que${\displaystyle \mathbf {X} }$es una matriz de Vandermonde , la condición de invertibilidad está garantizada si todas las${\displaystyle x_{i}}$Los valores son distintos. Esta es la única solución de mínimos cuadrados. En otras palabras, alcanza el mínimo de la distancia.${\displaystyle \|{\vec {\varepsilon }}\|}$entre la muestra${\displaystyle y_{i}}$y el valor correspondiente del polinomio,${\displaystyle \sum _{k=1}^{m}\beta _{k}x_{i}^{k}}$, es decir, realiza el mínimo

${\displaystyle \min _{\vec {\beta }}\sum _{i=1}^{n}\left(y_{i}-\sum _{k=1}^{m}\beta _{k}x_{i}^{k}\right)^{2}.}$

Aunque la regresión polinómica es técnicamente un caso especial de regresión lineal múltiple, la interpretación de un modelo de regresión polinómica ajustado requiere una perspectiva algo diferente. A menudo resulta difícil interpretar los coeficientes individuales en un ajuste de regresión polinómica, ya que los monomios subyacentes pueden estar altamente correlacionados. Por ejemplo, x y x² tienen una correlación cercana a 0,97 cuando x se distribuye uniformemente en el intervalo (0, 1). Si bien la correlación puede reducirse mediante el uso ^de polinomios ortogonales , generalmente es más informativo considerar la función de regresión ajustada en su conjunto. Posteriormente, se pueden utilizar bandas de confianza puntuales o simultáneas para proporcionar una idea de la incertidumbre en la estimación de la función de regresión. 

La regresión polinómica es un ejemplo de análisis de regresión que utiliza funciones base para modelar una relación funcional entre dos cantidades. Más específicamente, reemplaza${\displaystyle x\in \mathbb {R} ^{d_{x}}}$en regresión lineal con base polinómica${\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}$, p.ej${\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}$Una desventaja de las bases polinómicas es que las funciones base son "no locales", lo que significa que el valor ajustado de y en un valor dado x  = x ₀ depende fuertemente de valores de datos con x lejos de x ₀ . ^{[ 8 ]} En estadística moderna, las funciones base polinómicas se utilizan junto con nuevas funciones base , como splines , funciones de base radial y wavelets . Estas familias de funciones base ofrecen un ajuste más parsimonioso para muchos tipos de datos. 

El objetivo de la regresión polinómica es modelar una relación no lineal entre las variables independientes y dependientes (técnicamente, entre la variable independiente y la media condicional de la variable dependiente). Esto es similar al objetivo de la regresión no paramétrica , que busca capturar relaciones de regresión no lineales . Por lo tanto, los enfoques de regresión no paramétrica, como el suavizado, pueden ser alternativas útiles a la regresión polinómica. Algunos de estos métodos utilizan una forma localizada de la regresión polinómica clásica. ^{[ 9 ]} Una ventaja de la regresión polinómica tradicional es que se puede utilizar el marco inferencial de la regresión múltiple (esto también se aplica al usar otras familias de funciones base, como las splines).

Una última alternativa es utilizar modelos basados ​​en kernels , como la regresión de vectores de soporte con un kernel polinomial .

Si los residuos tienen varianza desigual , se puede utilizar un estimador de mínimos cuadrados ponderados para tenerlo en cuenta. ^{[ 10 ]}

• Ajuste de curvas
• regresión lineal
• regresión polinómica local
• Modelado de funciones polinómicas y racionales
• Interpolación polinómica
• Metodología de superficie de respuesta
• Spline de suavizado

• Microsoft Excel utiliza la regresión polinómica al ajustar una línea de tendencia a los puntos de datos en un diagrama de dispersión XY. ^{[ 11 ]}

• Ajuste de curvas , simulaciones interactivas PhET , Universidad de Colorado en Boulder