Cadena de Markov de tiempo continuo

Dejar${\displaystyle P}$sea ​​la solución (única) del sistema ( 0 ). (La unicidad está garantizada por nuestra suposición de que${\displaystyle Q}$es regular.) Decimos${\displaystyle X}$es Markov con distribución inicial${\displaystyle \lambda }$y matriz de tasas${\displaystyle Q}$significa: para cualquier entero no negativo${\displaystyle n\geq 0}$, para todos${\displaystyle t_{0},\dots ,t_{n+1}\in T}$de tal manera que${\displaystyle t_{0}<\dots <t_{n+1},}$a pesar de${\displaystyle i_{0},\dots ,i_{n+1}\in I,}$

Utilizando la inducción y el hecho de que${\displaystyle \forall A,B\in {\cal {A}}~~\Pr(B)\neq 0\rightarrow \Pr(A\cap B)=\Pr(A\mid B)\Pr(B),}$Podemos demostrar la equivalencia de la afirmación anterior que contiene ( 1 ) y la siguiente afirmación: para todo${\displaystyle i\in I,~\Pr(X_{0}=i)=\lambda _{i}}$y para cualquier entero no negativo${\displaystyle n\geq 0}$, para todos${\displaystyle t_{0},\dots ,t_{n+1}\in T}$de tal manera que${\displaystyle t_{0}<\dots <t_{n+1},}$a pesar de${\displaystyle i_{0},\dots ,i_{n+1}\in I}$de tal manera que${\displaystyle 0<\Pr(X_{0}=i_{0},\dots ,X_{t_{n}}=i_{n})}$(resulta que${\displaystyle 0<\Pr(X_{t_{n}}=i_{n})}$),

Se deduce de la continuidad de las funciones.${\displaystyle (P(t)_{i,j})_{t\in T}}$(${\displaystyle i,j\in S}$) que la trayectoria${\displaystyle (X_{t}(\omega ))_{t\in T}}$es casi con seguridad continua por la derecha (con respecto a la métrica discreta en${\displaystyle S}$): existe un${\displaystyle \Pr }$- conjunto nulo${\displaystyle N}$de tal manera que${\displaystyle \{\omega \in \Omega$ :(X_{t}(\omega ))_{t\in T}{\text{ es continua por la derecha}}\}\subseteq N} . ^{[ 13 ]}

Decimos${\displaystyle X}$es Markov con distribución inicial${\displaystyle \lambda }$y matriz de tasas${\displaystyle Q}$significar: para todos${\displaystyle i\in S,}$${\displaystyle \Pr(X(0)=i)=\lambda _{i}}$y para todos${\displaystyle i,j}$, para todos${\displaystyle t}$y para valores pequeños estrictamente positivos de${\displaystyle h}$, lo siguiente se aplica a todos${\displaystyle t\in T}$de tal manera que${\displaystyle 0<\Pr(X(t)=i)}$:

${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=[i=j]+q_{i,j}h+o(h)}$,

donde el término${\displaystyle [i=j]}$es${\displaystyle 1}$si${\displaystyle i=j}$y de otro modo${\displaystyle 0}$y el término minúscula${\displaystyle o(h)}$depende de cierta manera de${\displaystyle i,j,h}$. ^{[ 15 ] [ 16 ]}

La ecuación anterior muestra que${\displaystyle q_{i,j}}$puede verse como una medida de la rapidez con que se produce la transición desde${\displaystyle i}$a${\displaystyle j}$sucede para${\displaystyle i\neq j}$y cuán rápida es la transición desde${\displaystyle i}$sucede para${\displaystyle i=j}$.

Las clases comunicantes, la transitoriedad, la recurrencia y la recurrencia positiva y nula se definen de forma idéntica a como se hace para las cadenas de Markov de tiempo discreto .

Escriba P( t ) para la matriz con entradas p _ij = P( X _t  = j | X ₀ = i ). Entonces la matriz P( t ) satisface la ecuación directa, una ecuación diferencial de primer orden.     

${\displaystyle P'(t)=P(t)Q}$,

donde la prima denota la diferenciación con respecto a t . La solución a esta ecuación viene dada por una exponencial matricial.

${\displaystyle P(t)=e^{tQ}}$.

En un caso simple como un CTMC en el espacio de estados {1,2}. La matriz Q general para dicho proceso es la siguiente matriz de 2  ×  2 con α , β  >  0

${\displaystyle Q={\begin{pmatrix}-\alpha &\alpha \\\beta &-\beta \end{pmatrix}}.}$

La relación anterior para la matriz directa se puede resolver explícitamente en este caso para dar

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$.

El cálculo de soluciones directas es complicado en matrices grandes. El hecho de que Q sea el generador de un semigrupo de matrices

${\displaystyle P(t+s)=e^{(t+s)Q}=e^{tQ}e^{sQ}=P(t)P(s)}$

se utiliza.

La distribución estacionaria es una distribución${\displaystyle \pi }$ese es un punto fijo de la matriz de tasas de transición,${\displaystyle Q(\pi )=\pi }$. Obsérvese que para el proceso de dos estados considerado anteriormente con P( t ) dado por

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$,

Cuando t  →  ∞ la distribución tiende a

${\displaystyle P_{\pi }={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\\{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\end{pmatrix}}}$.

Observe que cada fila tiene la misma distribución, ya que esto no depende del estado inicial. El vector fila π se puede encontrar resolviendo

${\displaystyle \pi Q=0}$

con la restricción

${\displaystyle \sum _{i\in S}\pi _{i}=1}$.

Ejemplo 1

La imagen de la derecha describe una cadena de Markov de tiempo continuo con espacio de estados {Mercado alcista, Mercado bajista, Mercado estancado} y matriz de tasas de transición.

${\displaystyle Q={\begin{pmatrix}-0.025&0.02&0.005\\0.3&-0.5&0.2\\0.02&0.4&-0.42\end{pmatrix}}.}$

La distribución estacionaria de esta cadena se puede encontrar resolviendo${\displaystyle \pi Q=0}$, sujeto a la restricción de que los elementos deben sumar 1 para obtener

${\displaystyle \pi ={\begin{pmatrix}0.885&0.071&0.044\end{pmatrix}}.}$

Ejemplo 2

La imagen de la derecha describe una cadena de Markov de tiempo discreto que modela a Pac-Man con un espacio de estados {1,2,3,4,5,6,7,8,9}. El jugador controla a Pac-Man a través de un laberinto, comiendo puntos Pac-Man. Mientras tanto, es perseguido por fantasmas. Para mayor comodidad, el laberinto será una pequeña cuadrícula de 3x3 y los fantasmas se mueven aleatoriamente en direcciones horizontales y verticales. Un pasadizo secreto entre los estados 2 y 8 puede usarse en ambas direcciones. Las entradas con probabilidad cero se eliminan en la siguiente matriz de tasas de transición:

${\displaystyle Q={\begin{pmatrix}-1&{\frac {1}{2}}&&{\frac {1}{2}}\\{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}&&&{\frac {1}{4}}\\&{\frac {1}{2}}&-1&&&{\frac {1}{2}}\\{\frac {1}{3}}&&&-1&{\frac {1}{3}}&&{\frac {1}{3}}\\&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}\\&&{\frac {1}{3}}&&{\frac {1}{3}}&-1&&&{\frac {1}{3}}\\&&&{\frac {1}{2}}&&&-1&{\frac {1}{2}}\\&{\frac {1}{4}}&&&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}\\&&&&&{\frac {1}{2}}&&{\frac {1}{2}}&-1\end{pmatrix}}}$

Esta cadena de Markov es irreducible, porque los fantasmas pueden volar de cualquier estado a cualquier otro en un tiempo finito. Debido al pasaje secreto, la cadena de Markov también es aperiódica, porque los fantasmas pueden moverse de cualquier estado a cualquier otro tanto en un número par como impar de transiciones de estado. Por lo tanto, existe una distribución estacionaria única que se puede encontrar resolviendo${\displaystyle \pi Q=0}$, sujeto a la restricción de que los elementos deben sumar 1. La solución de esta ecuación lineal sujeta a la restricción es${\displaystyle \pi =(7.7,15.4,7.7,11.5,15.4,11.5,7.7,15.4,7.7)\%.}$ El estado central y los estados fronterizos 2 y 8 del pasadizo secreto adyacente son los más visitados, mientras que los estados de las esquinas son los menos visitados.

Para un CTMC X _t , el proceso con inversión temporal se define como${\displaystyle {\hat {X}}_{t}=X_{T-t}}$Según el lema de Kelly , este proceso tiene la misma distribución estacionaria que el proceso directo.

Se dice que una cadena es reversible si el proceso inverso es idéntico al proceso directo. El criterio de Kolmogorov establece que la condición necesaria y suficiente para que un proceso sea reversible es que el producto de las tasas de transición en un bucle cerrado sea el mismo en ambas direcciones.

Un método para encontrar la distribución de probabilidad estacionaria , π , de una cadena de Markov ergódica de tiempo continuo, Q , consiste en encontrar primero su cadena de Markov embebida (EMC) . Estrictamente hablando, la EMC es una cadena de Markov regular de tiempo discreto. Cada elemento de la matriz de probabilidad de transición de un paso de la EMC, S , se denota por s _ij , y representa la probabilidad condicional de transición del estado i al estado j . Estas probabilidades condicionales pueden encontrarse mediante

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j,\\0&{\text{otherwise}}.\end{cases}}}$

A partir de esto, S puede escribirse como

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

donde I es la matriz identidad y diag( Q ) es la matriz diagonal formada al seleccionar la diagonal principal de la matriz Q y establecer todos los demás elementos a cero.

Para encontrar el vector de distribución de probabilidad estacionaria, debemos encontrar a continuación${\displaystyle \varphi }$de tal manera que

${\displaystyle \varphi S=\varphi ,}$

con${\displaystyle \varphi }$siendo un vector fila, de tal manera que todos los elementos en${\displaystyle \varphi }$son mayores que 0 y${\displaystyle \|\varphi \|_{1}}$= 1. A partir de esto, se puede hallar π como

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( S puede ser periódico, incluso si Q no lo es. Una vez que se encuentra π , debe normalizarse a un vector unitario ).

Otro proceso de tiempo discreto que puede derivarse de una cadena de Markov de tiempo continuo es un esqueleto δ : la cadena de Markov (de tiempo discreto) formada al observar X ( t ) a intervalos de δ unidades de tiempo. Las variables aleatorias X (0), X (δ), X (2δ), ... dan la secuencia de estados visitados por el esqueleto δ.