Propiedad de Markov

En teoría de la probabilidad y estadística , la propiedad de Markov es la propiedad de ausencia de memoria de un proceso estocástico , lo que significa que su evolución futura es independiente de su historia. Recibe su nombre del matemático ruso Andrey Markov . El término propiedad de Markov fuerte es similar a la propiedad de Markov, con la diferencia de que el significado de "presente" se define en términos de una variable aleatoria conocida como tiempo de parada .

El término supuesto de Markov se utiliza para describir un modelo en el que se supone que se cumple la propiedad de Markov, como por ejemplo un modelo oculto de Markov .

Un campo aleatorio de Markov extiende esta propiedad a dos o más dimensiones o a variables aleatorias definidas para una red interconectada de elementos. ^{[ 1 ]} Un ejemplo de un modelo para dicho campo es el modelo de Ising .

Un proceso estocástico de tiempo discreto que satisface la propiedad de Markov se conoce como cadena de Markov .

Un proceso estocástico posee la propiedad de Markov si la distribución de probabilidad condicional de los estados futuros del proceso (condicionada tanto a los valores pasados ​​como presentes) depende únicamente del estado presente; es decir, dado el presente, el futuro no depende del pasado. Un proceso con esta propiedad se denomina proceso de Markov . Dos clases famosas de procesos de Markov son la cadena de Markov y el movimiento browniano .

Cabe destacar un punto sutil, a menudo pasado por alto y muy importante, que suele omitirse en la definición escrita: el espacio de estados del proceso es constante en el tiempo. La descripción condicional implica un "ancho de banda" fijo. Por ejemplo, sin esta restricción, podríamos ampliar cualquier proceso para que incluya el historial completo desde una condición inicial dada, convirtiéndolo en un proceso markoviano. Sin embargo, el espacio de estados tendría una dimensionalidad creciente con el tiempo y no cumpliría con la definición.

Dejar${\displaystyle (\Omega,{\mathcal {F}},P)}$sea ​​un espacio de probabilidad con una filtración${\displaystyle ({\mathcal {F}}_{s},\ s\in I)}$, para algún conjunto de índices ( totalmente ordenado )${\displaystyle I}$; y deja${\displaystyle (S,\Sigma )}$ser un espacio medible . Un${\displaystyle (S,\Sigma )}$proceso estocástico valorado${\displaystyle X=\{X_{t}:\Omega \to S\}_{t\in I}}$Se dice que un sistema adaptado a la filtración posee la propiedad de Markov si, para cada${\displaystyle A\in \Sigma }$ y cada uno${\displaystyle s,t\in I}$con${\displaystyle s<t}$,

${\displaystyle P(X_{t}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{s}).}$^{[ 2 ]}

En el caso donde${\displaystyle S}$es un conjunto discreto con el álgebra sigma discreta y${\displaystyle I=\mathbb {N} }$Esto puede reformularse de la siguiente manera:

${\displaystyle P(X_{n+1}=x_{n+1}\mid X_{n}=x_{n},\dots ,X_{1}=x_{1})=P(X_{n+1}=x_{n+1}\mid X_{n}=x_{n}){\text{ para todo }}n\in \mathbb {N} .}$

En otras palabras, la distribución de${\displaystyle X}$en ese momento${\displaystyle n+1}$depender únicamente del estado de${\displaystyle X}$en ese momento${\displaystyle n}$y es independiente del estado del proceso en cualquier momento anterior a${\displaystyle n}$, lo cual se corresponde precisamente con la intuición descrita en la introducción.

Si${\displaystyle I=[0,\infty )}$, entonces${\displaystyle X}$se denomina homogéneo en el tiempo si para todo${\displaystyle t,s\geq 0}$Se cumple la propiedad de Markov débil: ^{[ 3 ]}

${\displaystyle P(X_{t+s}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{0}=x)|_{x=X_{s}}=:P^{X_{s}}(X_{t}\in A)}$.

La medida de probabilidad recientemente introducida${\displaystyle P^{x}(X_{t}\in \cdot )}$,${\displaystyle x\in S}$tiene la siguiente intuición: Da la probabilidad de que el proceso${\displaystyle X}$se encuentra en algún conjunto en el tiempo${\displaystyle t}$, cuando se inició en${\displaystyle x}$en el instante cero. La función${\displaystyle P_{t}(x,A):=P^{x}(X_{t}\in A)}$,${\displaystyle (t,x,A)\in \mathbb {R} _{+}\times S\times \Sigma }$, también se denomina función de transición de${\displaystyle X}$y la colección${\displaystyle (P_{t})_{t\geq 0}}$su semigrupo de transición .

Existen múltiples formulaciones alternativas de la propiedad elemental de Markov descrita anteriormente. Las siguientes son todas equivalentes: ^{[ 4 ] [ 5 ]}

• A pesar de${\displaystyle t\geq 0}$el${\displaystyle \sigma }$-álgebras${\displaystyle {\mathcal {F}}_{t}}$y${\displaystyle {\mathcal {F}}_{t}':=\sigma (X_{s}:s\geq t)}$son condicionalmente independientes dado${\displaystyle X_{t}}$. En otras palabras, para todos${\displaystyle A\in {\mathcal {F}}_{t}}$,${\displaystyle B\in {\mathcal {F}}_{t}'}$:

${\displaystyle P(A\cap B\mid X_{t})=P(A\mid X_{t})P(B\mid X_{t})}$.

• A pesar de${\displaystyle t\geq 0}$,${\displaystyle B\in {\mathcal {F}}_{t}'}$:

${\displaystyle P(B\mid {\mathcal {F}}_{t})=P(B\mid X_{t})}$.

• A pesar de${\displaystyle t\geq 0}$,${\displaystyle A\in {\mathcal {F}}_{t}}$:

${\displaystyle P(A\mid {\mathcal {F}}_{t}^{'})=P(A\mid X_{t})}$.

• A pesar de${\displaystyle t\geq 0}$y${\displaystyle Y:\Omega \rightarrow \mathbb {R} }$delimitado y${\displaystyle {\mathcal {F}}_{t}'}$-mensurable

${\displaystyle \operatorname {E} [Y\mid {\mathcal {F}}_{t}]=\operatorname {E} [Y\mid X_{t}]}$.

• A pesar de${\displaystyle t\geq s\geq 0}$y${\displaystyle f:S\rightarrow \mathbb {R} }$limitado y mensurable

${\displaystyle \operatorname {E} [f(X_{t})\mid {\mathcal {F}}_{s}]=\operatorname {E} [f(X_{t})\mid X_{s}]}$.

• A pesar de${\displaystyle t\geq s\geq 0}$y${\displaystyle f:S\rightarrow \mathbb {R} }$continuo con soporte compacto

${\displaystyle \operatorname {E} [f(X_{t})\mid {\mathcal {F}}_{s}]=\operatorname {E} [f(X_{t})\mid X_{s}]}$.

• A pesar de${\displaystyle 0\leq s_{1}<...<s_{n}<s<t}$y${\displaystyle f:S\rightarrow \mathbb {R} }$continuo con soporte compacto

${\displaystyle \operatorname {E} [f(X_{t})\mid X_{s},X_{s_{n}},...,X_{s_{1}}]=\operatorname {E} [f(X_{t})\mid X_{s}]}$.

Si existe un llamado semigrupo de desplazamiento${\displaystyle (\theta _{t})_{t\geq 0}}$, es decir, funciones${\displaystyle \theta _{t}:\Omega \to \Omega }$de tal manera que

1. ${\displaystyle \theta _ {0}=\mathrm {id} _ {\Omega}}$,
2. ${\displaystyle \theta _{t}\circ \theta _{s}=\theta _{t+s}\quad \forall s,t\geq 0}$(propiedad de semigrupo),
3. ${\displaystyle X_{t}\circ \theta _{s}=X_{t+s}\quad \forall s,t\geq 0}$,

entonces la propiedad de Markov es equivalente a: ^{[ 4 ]}

• A pesar de${\displaystyle t\geq 0}$y${\displaystyle \Lambda \in {\mathcal {F}}_{0}'}$

${\displaystyle P(\theta _{t}^{-1}(\Lambda )\mid {\mathcal {F}}_{t})=P(\theta _{t}^{-1}(\Lambda )\mid X_{t})}$.

• A pesar de${\displaystyle t\geq 0}$y${\displaystyle Y:\Omega \rightarrow \mathbb {R} }$delimitado y${\displaystyle {\mathcal {F}}_{0}'}$-mensurable

${\displaystyle \operatorname {E} [Y\circ \theta _{t}\mid {\mathcal {F}}_{t}]=\operatorname {E} [Y\circ \theta _{t}\mid X_{t}]}$.

Dependiendo de la situación, algunas formulaciones pueden ser más fáciles de verificar o de usar que otras.

Supongamos que${\displaystyle X=(X_{t}:t\geq 0)}$es un proceso estocástico en un espacio de probabilidad${\displaystyle (\Omega ,{\mathcal {F}},P)}$con filtración natural${\displaystyle \{{\mathcal {F}}_{t}\}_{t\geq 0}}$. Luego, para cualquier tiempo de parada${\displaystyle \tau }$en${\displaystyle \Omega }$, podemos definir

${\displaystyle {\mathcal {F}}_{\tau }=\{A\in {\mathcal {F}}:\forall t\geq 0,\{\tau \leq t\}\cap A\in {\mathcal {F}}_{t}\}}$.

Entonces${\displaystyle X}$Se dice que tiene la fuerte propiedad de Markov si, para cada tiempo de parada${\displaystyle \tau }$, condicionado al evento${\displaystyle \{\tau <\infty \}}$, tenemos que para cada${\displaystyle t\geq 0}$,${\displaystyle X_{\tau +t}}$es independiente de${\displaystyle {\mathcal {F}}_{\tau }}$dado${\displaystyle X_{\tau }}$Esto es equivalente a

${\displaystyle P(X_{\tau +t}\in A,\tau <\infty \mid {\mathcal {F}}_{\tau })=1_{\{\tau <\infty \}}P(X_{t}\in A\mid X_{0}=X_{\tau })}$a pesar de${\displaystyle A\in {\mathcal {F}}}$,

dónde${\displaystyle 1_{\{\tau <\infty \}}}$denota la función indicadora del conjunto${\displaystyle \{\tau <\infty \}}$.

La propiedad de Markov fuerte implica la propiedad de Markov ordinaria ya que al tomar el tiempo de parada${\displaystyle \tau =t}$, se puede deducir la propiedad ordinaria de Markov. ^{[ 6 ]} Lo contrario no es cierto en general.

La propiedad de Markov fuerte solo conduce a resultados no triviales en tiempo continuo (es decir, resultados que no se cumplen simplemente con la propiedad de Markov), ya que en el caso discreto la propiedad de Markov fuerte y la elemental son equivalentes. ^{[ 7 ]}

Si bien la propiedad de Markov fuerte es, en general, más fuerte que la propiedad de Markov elemental, se cumple con procesos de Markov que poseen propiedades de regularidad suficientemente "buenas".

Se dice que un proceso de Markov de tiempo continuo tiene la propiedad de Feller si su semigrupo de transición${\displaystyle (P_{t})_{t\geq 0}}$(ver arriba) cumple ^{[ 4 ]}

1. ${\displaystyle P_{t}f:=\int f(x)P_{t}(\cdot ,dx)\in C_{0}(S)}$a pesar de${\displaystyle f\in C_{0}(S)}$,
2. ${\displaystyle \lim _{t\to 0}||P_{t}f-f||_{\infty }=0}$a pesar de${\displaystyle f\in C_{0}(S)}$,

dónde${\displaystyle C_{0}(S)}$denota el conjunto de funciones continuas que se anulan en el infinito y${\displaystyle ||\cdot ||_{\infty }}$la norma sup . Entonces se puede demostrar que (si la filtración se aumenta ) dicho proceso tiene una versión con caminos continuos por la derecha (incluso càdlàg ), que a su vez cumple la propiedad fuerte de Markov.

• Condición de Markov causal
• ecuación de Chapman-Kolmogorov
• Histéresis
• manta de Markov
• cadena de Markov
• proceso de decisión de Markov
• modelo de Markov