Spline de regresión adaptativa multivariante

En estadística , las splines de regresión adaptativa multivariante ( MARS ) son una forma de análisis de regresión introducida por Jerome H. Friedman en 1991. ^{[ 1 ]} Es una técnica de regresión no paramétrica y puede verse como una extensión de los modelos lineales que modela automáticamente las no linealidades y las interacciones entre variables.

El término "MARS" es una marca registrada y licenciada a Salford Systems. Para evitar infracciones de marca registrada, muchas implementaciones de código abierto de MARS se denominan "Earth". ^{[ 2 ] [ 3 ]}

Esta sección presenta MARS mediante algunos ejemplos. Comenzamos con un conjunto de datos: una matriz de variables de entrada x y un vector de las respuestas observadas y , con una respuesta para cada fila de x . Por ejemplo, los datos podrían ser:

Aquí solo hay una variable independiente , por lo que la matriz x es solo una columna. Con estas mediciones, nos gustaría construir un modelo que prediga el valor esperado de y para un valor de x dado .

Un modelo lineal para los datos anteriores es $${\displaystyle {\widehat {y}}=-37+5.1x}$$ El sombrero en el${\displaystyle {\widehat {y}}}$indica que${\displaystyle {\widehat {y}}}$se estima a partir de los datos. La figura de la derecha muestra una gráfica de esta función: una línea que da el valor predicho${\displaystyle {\widehat {y}}}$versus x , con los valores originales de y mostrados como puntos rojos.

Los datos en los extremos de x indican que la relación entre y y x puede ser no lineal (observe los puntos rojos en relación con la línea de regresión en valores bajos y altos de x ). Por lo tanto, recurrimos a MARS para construir automáticamente un modelo que tenga en cuenta las no linealidades. El software MARS construye un modelo a partir de los valores dados de x e y de la siguiente manera:

$${\displaystyle {\begin{aligned}{\widehat {y}}=&\ 25\\&{}+6.1\max(0,x-13)\\&{}-3.1\max(0,13-x)\end{aligned}}}$$

La figura de la derecha muestra una gráfica de esta función: la predicción${\displaystyle {\widehat {y}}}$versus x , con los valores originales de y mostrados nuevamente como puntos rojos. La respuesta predicha ahora se ajusta mejor a los valores originales de y .

MARS ha producido automáticamente un punto de inflexión en la y predicha para tener en cuenta la no linealidad. El punto de inflexión se produce mediante funciones de bisagra . Las funciones de bisagra son las expresiones que comienzan con${\displaystyle \max }$(dónde${\displaystyle \max(a,b)}$es${\displaystyle a}$si${\displaystyle a>b}$, demás${\displaystyle b}$Las funciones de bisagra se describen con más detalle a continuación.

En este sencillo ejemplo, podemos observar fácilmente en la gráfica que y tiene una relación no lineal con x (e incluso podríamos intuir que y varía con el cuadrado de x ). Sin embargo, en general habrá múltiples variables independientes , y la relación entre y y estas variables será ambigua y difícil de visualizar mediante una gráfica. Podemos usar MARS para descubrir dicha relación no lineal.

Un ejemplo de expresión MARS con múltiples variables es

$${\displaystyle {\begin{aligned}\mathrm {ozono} =&\ 5.2\\&{}+0.93\max(0,\mathrm {temp} -58)\\&{}-0.64\max(0,\mathrm {temp} -68)\\&{}-0.046\max(0,234-\mathrm {ibt} )\\&{}-0.016\max(0,\mathrm {viento} -7)\max(0,200-\mathrm {vis} )\end{aligned}}}$$

Esta expresión modela la contaminación del aire (el nivel de ozono) como una función de la temperatura y algunas otras variables. Nótese que el último término de la fórmula (en la última línea) incorpora una interacción entre${\displaystyle \mathrm {viento} }$y${\displaystyle \mathrm {vis} }$.

La figura de la derecha muestra la predicción.${\displaystyle \mathrm {ozono} }$como${\displaystyle \mathrm {viento} }$y${\displaystyle \mathrm {vis} }$Varían, con las demás variables fijadas en sus valores medianos. La figura muestra que el viento no afecta el nivel de ozono a menos que la visibilidad sea baja. Vemos que MARS puede construir superficies de regresión bastante flexibles combinando funciones de bisagra.

Para obtener la expresión anterior, el procedimiento de construcción del modelo MARS selecciona automáticamente qué variables utilizar (algunas variables son importantes, otras no), las posiciones de los puntos de inflexión en las funciones de bisagra y cómo se combinan las funciones de bisagra.

MARS construye modelos de la forma

$${\displaystyle {\widehat {f}}(x)=\sum _{i=1}^{k}c_{i}B_{i}(x).}$$

El modelo es una suma ponderada de funciones base. ${\displaystyle B_{i}(x)}$. Cada${\displaystyle c_{i}}$es un coeficiente constante. Por ejemplo, cada línea en la fórmula del ozono anterior es una función base multiplicada por su coeficiente.

Cada función básica${\displaystyle B_{i}(x)}$adopta una de las siguientes tres formas:

1. una constante 1. Solo hay un término de este tipo, la intersección . En la fórmula del ozono anterior, el término de intersección es 5.2.
2. una función de bisagra . Una función de bisagra tiene la forma ${\displaystyle \max(0,x-{\text{constante}})}$o ${\displaystyle \max(0,{\text{constante}}-x)}$MARS selecciona automáticamente las variables y sus valores para los nodos de las funciones de bisagra. Ejemplos de estas funciones base pueden verse en las tres líneas centrales de la fórmula del ozono.
3. un producto de dos o más funciones de bisagra. Estas funciones base pueden modelar la interacción entre dos o más variables.

Un ejemplo es la última línea de la fórmula del ozono.

Una parte clave de los modelos MARS son las funciones de bisagra que toman la forma $${\displaystyle \max(0,xc)}$$ o $${\displaystyle \max(0,cx)}$$ dónde${\displaystyle c}$es una constante, llamada nudo . La figura de la derecha muestra un par de funciones de bisagra reflejadas con un nudo en 3.1.

Una función bisagra es cero para parte de su rango, por lo que puede usarse para particionar los datos en regiones disjuntas, cada una de las cuales puede tratarse de forma independiente. Así, por ejemplo, un par de funciones bisagra reflejadas en la expresión $${\displaystyle 6.1\max(0,x-13)-3.1\max(0,13-x)}$$ crea el gráfico lineal por partes que se muestra para el modelo MARS simple en la sección anterior.

Podría pensarse que solo las funciones lineales a trozos pueden formarse a partir de funciones de bisagra, pero las funciones de bisagra pueden multiplicarse entre sí para formar funciones no lineales.

Las funciones de bisagra también se denominan funciones de rampa , de palo de hockey o rectificadoras . En lugar de la${\displaystyle \max }$La notación utilizada en este artículo, las funciones de bisagra a menudo se representan mediante${\displaystyle [\pm (x_{i}-c)]_{+}}$dónde${\displaystyle [\cdot ]_{+}}$significa tomar el lado positivo.

MARS construye un modelo en dos fases: la pasada hacia adelante y la pasada hacia atrás. Este enfoque de dos etapas es el mismo que utilizan los árboles de partición recursivos .

• Los modelos MARS son fáciles de entender e interpretar. ^{[ 5 ]}
• MARS puede manejar datos continuos y categóricos . ^{[ 6 ] [ 7 ]}
• MARS (al igual que la partición recursiva) realiza una selección automática de variables (es decir, incluye variables importantes en el modelo y excluye las que no lo son). Sin embargo, puede haber cierta arbitrariedad en la selección, especialmente cuando existen predictores correlacionados, lo que puede afectar la interpretabilidad. ^{[ 5 ]}
• La construcción de modelos MARS a menudo requiere poca o ninguna preparación de datos. ^{[ 5 ]}
• Código del libro Métodos bayesianos para clasificación y regresión no lineal ^{[ 8 ]} para MARS bayesiano.

• Los modelos lineales generalizados (GLM) pueden incorporarse a los modelos MARS aplicando una función de enlace una vez construido el modelo MARS. De este modo, por ejemplo, los modelos MARS pueden incorporar regresión logística para predecir probabilidades.
• La regresión no lineal se utiliza cuando se conoce la forma subyacente de la función y la regresión se emplea únicamente para estimar sus parámetros. Por otro lado, MARS estima las funciones en sí mismas, aunque con severas restricciones sobre su naturaleza. (Estas restricciones son necesarias porque descubrir un modelo a partir de los datos es un problema inverso que no está bien planteado sin restricciones sobre el modelo).
• Particionamiento recursivo (comúnmente llamado CART). MARS puede considerarse una generalización del particionamiento recursivo que permite modelos continuos, los cuales pueden proporcionar un mejor ajuste a los datos numéricos.
• Modelos aditivos generalizados . A diferencia de MARS, los GAM ajustan funciones loess suaves o splines polinomiales en lugar de funciones de bisagra, y no modelan automáticamente las interacciones entre variables. El ajuste más suave y la ausencia de términos de regresión reducen la varianza en comparación con MARS, pero ignorar las interacciones entre variables puede agravar el sesgo.
• TSMARS ( Time Series Mars) es el término que se utiliza cuando los modelos MARS se aplican en un contexto de series temporales . Normalmente, en esta configuración, los predictores son los valores de series temporales retardadas, lo que da lugar a modelos de splines autorregresivos . Estos modelos y sus extensiones para incluir modelos de splines de media móvil se describen en " Modelado y pronóstico de series temporales univariadas con TSMARS: Un estudio de modelos autorregresivos, estacionales y de media móvil de series temporales con umbral utilizando TSMARS".
• El método MARS bayesiano (BMARS) utiliza la misma forma de modelo, pero lo construye mediante un enfoque bayesiano. Puede llegar a diferentes modelos MARS óptimos debido a que el método de construcción del modelo es diferente. El resultado de BMARS suele ser un conjunto de muestras posteriores de modelos MARS, lo que permite la predicción probabilística. ^{[ 9 ]}

• Regresión lineal
• regresión local
• Modelado de funciones racionales
• Regresión segmentada
• interpolación spline
• regresión spline

• Hastie T., Tibshirani R. y Friedman JH (2009) Los elementos del aprendizaje estadístico , 2.ª edición. Springer, ISBN 978-0-387-84857-0(tiene una sección sobre MARS)
• Faraway J. (2005) Extending the Linear Model with R , CRC, ISBN 978-1-58488-424-8(incluye un ejemplo que utiliza MARS con R)
• Heping Zhang y Burton H. Singer (2010) Particionamiento recursivo y aplicaciones , 2.ª edición. Springer, ISBN 978-1-4419-6823-4(incluye un capítulo sobre MARS y analiza algunos ajustes al algoritmo)
• Denison DGT, Holmes CC, Mallick BK y Smith AFM (2004) Métodos bayesianos para clasificación y regresión no lineal , Wiley, ISBN 978-0-471-49036-4
• Berk RA (2008) Aprendizaje estadístico desde una perspectiva de regresión , Springer, ISBN 978-0-387-77500-5