Modelo autorregresivo

En estadística , un modelo autorregresivo ( AR ) es una representación modelada de un tipo de proceso aleatorio . Se puede utilizar para describir procesos que varían con el tiempo, provenientes de diversas fuentes naturales y artificiales. El modelo especifica variables de salida que dependen linealmente de sus valores anteriores de forma estocástica . El modelo se presenta como una ecuación de diferencias estocástica (o relación de recurrencia ), que no debe confundirse con una ecuación diferencial . Junto con el modelo de media móvil (MA) , constituye un caso especial y un componente clave de los modelos más generales de series temporales autorregresivo-media móvil (ARMA) y autorregresivo integrado de media móvil (ARIMA), que poseen una estructura estocástica más compleja. También es un caso especial del modelo autorregresivo vectorial (VAR), que consiste en un sistema de más de una ecuación de diferencias estocástica interconectada en más de una variable aleatoria en evolución.

Otra extensión importante es el modelo autorregresivo variable en el tiempo (TVAR), donde se permite que los coeficientes autorregresivos cambien con el tiempo para modelar procesos evolutivos o no estacionarios. Los modelos TVAR se aplican ampliamente en casos donde la dinámica subyacente del sistema no es constante, como en el modelado de series temporales de sensores, ^{[ 1 ] [ 2 ]} la ciencia del clima , ^{[ 3 ]} la economía y las finanzas (como la econometría ), ^{[ 4 ] [ 5 ]} el procesamiento de señales , ^{[ 6 ]} las telecomunicaciones , ^{[ 7 ]} los sistemas de radar , ^{[ 8 ]} y las señales biológicas . ^{[ 9 ]}

A diferencia del modelo de media móvil (MA), el modelo autorregresivo no siempre es estacionario; la no estacionariedad puede surgir debido a la presencia de una raíz unitaria o debido a parámetros del modelo que varían con el tiempo, como en los modelos autorregresivos que varían con el tiempo.

Los modelos de lenguaje de gran tamaño se denominan autorregresivos, pero en este sentido no son un modelo autorregresivo clásico porque no son lineales.

La notación${\displaystyle AR(p)}$indica un modelo autorregresivo de orden p . El modelo AR( p ) se define como

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{ti}+\varepsilon _{t}}$

dónde${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$son los parámetros del modelo, y${\displaystyle \varepsilon _ {t}}$es ruido blanco . ^{[ 10 ] [ 11 ]} Esto se puede escribir de forma equivalente utilizando el operador de retroceso B como

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}}$

de modo que, moviendo el término de sumatoria al lado izquierdo y utilizando la notación polinómica , tenemos

${\displaystyle \varphi (B)X_{t}=\varepsilon _{t}}$

Un modelo autorregresivo puede considerarse, por lo tanto, como la salida de un filtro de respuesta de impulso infinito con todos los polos , cuya entrada es ruido blanco.

Algunas restricciones de parámetros son necesarias para que el modelo permanezca estacionario en sentido débil . Por ejemplo, los procesos en el modelo AR(1) con${\displaystyle |\varphi _ {1}|\geq 1}$no son estacionarios. De manera más general, para que un modelo AR( p ) sea estacionario en sentido débil, las raíces del polinomio${\displaystyle \Phi (z):=\textstyle 1-\sum _{i=1}^{p}\varphi _{i}z^{i}}$debe estar fuera del círculo unitario , es decir, cada raíz (compleja)${\displaystyle z_{i}}$debe satisfacer${\displaystyle |z_{i}|>1}$(véanse las páginas 89,92 ^{[ 12 ]} ).

En un proceso AR, un choque único afecta los valores de la variable en evolución infinitamente en el futuro. Por ejemplo, considérese el modelo AR(1).${\displaystyle X_{t}=\varphi _{1}X_{t-1}+\varepsilon _{t}}$. Un valor distinto de cero para${\displaystyle \varepsilon _ {t}}$en el momento t = 1 afecta${\displaystyle X_{1}}$por la cantidad ${\displaystyle \varepsilon _{1}}$. Luego, mediante la ecuación AR para${\displaystyle X_{2}}$en términos de${\displaystyle X_{1}}$, esto afecta${\displaystyle X_{2}}$por la cantidad${\displaystyle \varphi _{1}\varepsilon _{1}}$. Luego, mediante la ecuación AR para${\displaystyle X_{3}}$en términos de${\displaystyle X_{2}}$, esto afecta${\displaystyle X_{3}}$por la cantidad${\displaystyle \varphi _{1}^{2}\varepsilon _{1}}$. Continuar este proceso muestra que el efecto de${\displaystyle \varepsilon _{1}}$nunca termina, aunque si el proceso es estacionario , entonces el efecto disminuye hacia cero en el límite.

Debido a que cada choque afecta a los valores X infinitamente lejos en el futuro desde el momento en que ocurren, cualquier valor dado X _t se ve afectado por choques que ocurren infinitamente lejos en el pasado. Esto también se puede ver reescribiendo la autorregresión.

${\displaystyle \varphi (B)X_{t}=\varepsilon _{t}\,}$

(donde el término constante se ha suprimido asumiendo que la variable se ha medido como desviaciones de su media) como

${\displaystyle X_{t}={\frac {1}{\varphi (B)}}\varepsilon _{t}\,.}$

Cuando se realiza la división polinómica en el lado derecho, el polinomio en el operador de retroceso aplicado a${\displaystyle \varepsilon _ {t}}$tiene un orden infinito, es decir, un número infinito de valores retardados de${\displaystyle \varepsilon _ {t}}$aparecen en el lado derecho de la ecuación.

La función de autocorrelación de un proceso AR( p ) se puede expresar como

${\displaystyle \rho (\tau )=\sum _ {k=1}^{p}a_ {k}y_ {k}^{-|\tau |},}$

dónde${\displaystyle y_{k}}$son las raíces del polinomio

${\displaystyle \varphi (B)=1-\sum _ {k=1}^{p}\varphi _ {k}B^{k}}$

donde B es el operador de retroceso , donde${\displaystyle \varphi (\cdot)}$es la función que define la autorregresión, y donde${\displaystyle \varphi _{k}}$son los coeficientes en la autorregresión. La fórmula es válida solo si todas las raíces tienen multiplicidad 1.

La función de autocorrelación de un proceso AR( p ) es una suma de exponenciales decrecientes.

• Cada raíz real aporta un componente a la función de autocorrelación que decae exponencialmente.
• De manera similar, cada par de raíces conjugadas complejas contribuye con una oscilación amortiguada exponencialmente.

El proceso AR más simple es AR(0), que no presenta dependencia entre sus términos. Solo el término de error/innovación/ruido contribuye al resultado del proceso, por lo que en la figura, AR(0) corresponde a ruido blanco.

Para un proceso AR(1) con un positivo${\displaystyle \varphi }$, solo el término anterior en el proceso y el término de ruido contribuyen a la salida. Si${\displaystyle \varphi }$si está cerca de 0, entonces el proceso todavía parece ruido blanco, pero como${\displaystyle \varphi }$A medida que se aproxima a 1, la salida recibe una mayor contribución del término anterior en relación con el ruido. Esto da como resultado un "suavizado" o integración de la salida, similar a un filtro de paso bajo .

Para un proceso AR(2), los dos términos anteriores y el término de ruido contribuyen a la salida. Si ambos${\displaystyle \varphi _{1}}$y${\displaystyle \varphi _{2}}$son positivos, la salida se asemejará a un filtro de paso bajo, con la parte de alta frecuencia del ruido disminuida. Si${\displaystyle \varphi _{1}}$es positivo mientras${\displaystyle \varphi _{2}}$Si es negativo, el proceso favorece los cambios de signo entre los términos del proceso. La salida oscila. Esto puede vincularse a la detección de bordes o a la detección de cambios de dirección.

Un proceso AR(1) viene dado por:$${\displaystyle X_{t}=\varphi X_{t-1}+\varepsilon _{t}\,}$$dónde${\displaystyle \varepsilon _ {t}}$es un proceso de ruido blanco con media cero y varianza constante${\displaystyle \sigma _{\varepsilon }^{2}}$. (Nota: El subíndice en${\displaystyle \varphi _{1}}$(se ha descartado.) El proceso es estacionario en sentido débil si${\displaystyle |\varphi |<1}$puesto que se obtiene como la salida de un filtro estable cuya entrada es ruido blanco. (Si${\displaystyle \varphi =1}$entonces la varianza de${\displaystyle X_{t}}$depende del retardo temporal t , de modo que la varianza de la serie diverge al infinito cuando t tiende al infinito y, por lo tanto, no es estacionaria en sentido débil.) Suponiendo${\displaystyle |\varphi |<1}$, la media${\displaystyle \operatorname {E} (X_{t})}$es idéntico para todos los valores de t por definición de estacionariedad en sentido débil. Si la media se denota por${\displaystyle \mu }$, se deduce de$${\displaystyle \operatorname {E} (X_{t})=\varphi \operatorname {E} (X_{t-1})+\operatorname {E} (\varepsilon _{t}),}$$eso$${\displaystyle \mu =\varphi \mu +0,}$$y por lo tanto

${\displaystyle \mu =0.}$

La varianza es

${\displaystyle {\textrm {var}}(X_{t})=\operatorname {E} (X_{t}^{2})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}},}$

dónde${\displaystyle \sigma _{\varepsilon }}$es la desviación estándar de${\displaystyle \varepsilon _{t}}$Esto se puede demostrar observando que

${\displaystyle {\textrm {var}}(X_{t})=\varphi ^{2}{\textrm {var}}(X_{t-1})+\sigma _{\varepsilon }^{2},}$

y luego al observar que la cantidad anterior es un punto fijo estable de esta relación.

La autocovarianza viene dada por

${\displaystyle B_{n}=\operatorname {E} (X_{t+n}X_{t})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|n|}.}$

Se puede observar que la función de autocovarianza decae con un tiempo de decaimiento (también llamado constante de tiempo ) de${\displaystyle \tau =1/(1-\varphi )}$. ^{[ 13 ]}

La función de densidad espectral es la transformada de Fourier de la función de autocovarianza. En términos discretos, esta será la transformada de Fourier en tiempo discreto:

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,\sum _{n=-\infty }^{\infty }B_{n}e^{-i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma _{\varepsilon }^{2}}{1+\varphi ^{2}-2\varphi \cos(\omega )}}\right).}$

Esta expresión es periódica debido a la naturaleza discreta de la${\displaystyle X_{j}}$, que se manifiesta como el término coseno en el denominador. Si asumimos que el tiempo de muestreo (${\displaystyle \Delta t=1}$) es mucho menor que el tiempo de decaimiento (${\displaystyle \tau }$), entonces podemos usar una aproximación continua para${\displaystyle B_{n}}$:

${\displaystyle B(t)\approx {\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|t|}}$

lo que produce un perfil lorentziano para la densidad espectral:

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,{\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}}$

dónde${\displaystyle \gamma =1/\tau }$es la frecuencia angular asociada con el tiempo de decaimiento${\displaystyle \tau }$.

Una expresión alternativa para${\displaystyle X_{t}}$se puede derivar sustituyendo primero${\displaystyle \varphi X_{t-2}+\varepsilon _{t-1}}$para${\displaystyle X_{t-1}}$en la ecuación definitoria. Continuar este proceso N veces produce

${\displaystyle X_{t}=\varphi ^{N}X_{t-N}+\sum _{k=0}^{N-1}\varphi ^{k}\varepsilon _{t-k}.}$

Para N que tiende a infinito,${\displaystyle \varphi ^{N}}$se aproximará a cero y:

${\displaystyle X_{t}=\sum _{k=0}^{\infty }\varphi ^{k}\varepsilon _{t-k}.}$

Se observa que${\displaystyle X_{t}}$es ruido blanco convolucionado con el${\displaystyle \varphi ^{k}}$núcleo más la media constante. Si el ruido blanco${\displaystyle \varepsilon _{t}}$entonces es un proceso gaussiano${\displaystyle X_{t}}$También es un proceso gaussiano. En otros casos, el teorema del límite central indica que${\displaystyle X_{t}}$tendrá una distribución aproximadamente normal cuando${\displaystyle \varphi }$está cerca de uno.

Para${\displaystyle \varepsilon _{t}=0}$, el proceso${\displaystyle X_{t}=\varphi X_{t-1}}$será una progresión geométrica ( crecimiento o decrecimiento exponencial ). En este caso, la solución se puede encontrar analíticamente:${\displaystyle X_{t}=a\varphi ^{t}}$por lo cual${\displaystyle a}$es una constante desconocida ( condición inicial ).

La autocorrelación parcial de un proceso AR(p) es igual a cero en retardos mayores que p , por lo que el retardo máximo apropiado p es aquel después del cual todas las autocorrelaciones parciales son cero.

Existen muchas maneras de estimar los coeficientes, como el procedimiento de mínimos cuadrados ordinarios o el método de los momentos (a través de las ecuaciones de Yule-Walker).

El modelo AR( p ) viene dado por la ecuación

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,}$

Se basa en parámetros${\displaystyle \varphi _{i}}$donde i = 1, ..., p . Existe una correspondencia directa entre estos parámetros y la función de covarianza del proceso, y esta correspondencia puede invertirse para determinar los parámetros a partir de la función de autocorrelación (que a su vez se obtiene a partir de las covarianzas). Esto se realiza utilizando las ecuaciones de Yule-Walker.

La densidad espectral de potencia (PSD) de un proceso AR( p ) con varianza de ruido${\displaystyle \mathrm {Var} (Z_{t})=\sigma _{Z}^{2}}$es ^{[ 17 ]}

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\sum _{k=1}^{p}\varphi _{k}e^{-i2\pi fk}|^{2}}}.}$

• R – el paquete stats incluye la función ar ; ^{[ 23 ]} el paquete astsa incluye la función sarima para ajustar varios modelos, incluido AR. ^{[ 24 ]}
• MATLAB – la Caja de herramientas de econometría ^{[ 25 ]} y la Caja de herramientas de identificación de sistemas ^{[ 26 ]} incluyen modelos AR. ^{[ 27 ]}
• MATLAB y Octave : la caja de herramientas TSA contiene varias funciones de estimación para modelos AR univariados, multivariados y adaptativos. ^{[ 28 ]}
• PyMC 3, el marco de estadística bayesiana y programación probabilística, admite modos AR con p retardos.
• bayesloop – admite la inferencia de parámetros y la selección de modelos para el proceso AR-1 con parámetros que varían en el tiempo. ^{[ 29 ]}
• Python – statsmodels.org aloja un modelo AR. ^{[ 30 ]}

La respuesta impulsional de un sistema es el cambio en una variable evolutiva en respuesta a un cambio en el valor de un término de choque k períodos antes, en función de k . Dado que el modelo AR es un caso especial del modelo autorregresivo vectorial, el cálculo de la respuesta impulsional en autorregresión vectorial#respuesta impulsional se aplica aquí.

Una vez que se conocen los parámetros de la autorregresión

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

Una vez estimados los datos, la autorregresión puede utilizarse para pronosticar un número arbitrario de períodos en el futuro. Primero, use t para referirse al primer período para el cual aún no hay datos disponibles; sustituya los valores previos conocidos X _t-i para i= 1, ..., p en la ecuación autorregresiva, estableciendo el término de error.${\displaystyle \varepsilon _{t}}$igual a cero (porque pronosticamos que X _t será igual a su valor esperado, y el valor esperado del término de error no observado es cero). El resultado de la ecuación autorregresiva es el pronóstico para el primer período no observado. A continuación, se usa t para referirse al siguiente período para el cual aún no hay datos disponibles; nuevamente se usa la ecuación autorregresiva para hacer el pronóstico, con una diferencia: el valor de X un período anterior al que ahora se está pronosticando no se conoce, por lo que se usa su valor esperado, el valor predicho que surge del paso de pronóstico anterior. Luego, para períodos futuros se usa el mismo procedimiento, usando cada vez un valor de pronóstico más en el lado derecho de la ecuación predictiva hasta que, después de p predicciones, todos los p valores del lado derecho son valores predichos de los pasos anteriores.

Existen cuatro fuentes de incertidumbre con respecto a las predicciones obtenidas de esta manera: (1) incertidumbre sobre si el modelo autorregresivo es el correcto; (2) incertidumbre sobre la precisión de los valores pronosticados que se utilizan como valores rezagados en el lado derecho de la ecuación autorregresiva; (3) incertidumbre sobre los valores reales de los coeficientes autorregresivos; y (4) incertidumbre sobre el valor del término de error.${\displaystyle \varepsilon _{t}\,}$para el período que se está prediciendo. Cada uno de los últimos tres se puede cuantificar y combinar para dar un intervalo de confianza para las predicciones de n pasos adelante; el intervalo de confianza se hará más amplio a medida que n aumente debido al uso de un número creciente de valores estimados para las variables del lado derecho.

• modelo de media móvil
• Ecuación de diferencias lineales
• Análisis predictivo
• Codificación predictiva lineal
• Resonancia
• Recursión de Levinson
• Proceso de Ornstein-Uhlenbeck
• respuesta de impulso infinita
• PagedAttention / vAttention : algoritmos de atención para el servicio eficiente de grandes modelos de lenguaje.

• Mills, Terence C. (1990). Técnicas de series temporales para economistas . Cambridge University Press. ISBN 9780521343398.
• Percival, Donald B.; Walden, Andrew T. (1993). Análisis espectral para aplicaciones físicas . Cambridge University Press. Bibcode : 1993sapa.book.....P .
• Pandit, Sudhakar M.; Wu, Shien-Ming (1983). Series temporales y análisis de sistemas con aplicaciones . John Wiley & Sons.

• Análisis de autorregresión (AR) por Paul Bourke
• Clase de econometría (tema: modelos autorregresivos) en YouTube por Mark Thoma