cadena de Markov

Un proceso de Markov es un proceso estocástico que satisface la propiedad de Markov (a veces caracterizada como " falta de memoria "). En términos más sencillos, es un proceso para el cual se pueden hacer predicciones sobre resultados futuros basándose únicamente en su estado presente y, lo que es más importante, dichas predicciones son tan buenas como las que se podrían hacer conociendo el historial completo del proceso. ^{[ 5 ]} En otras palabras, condicionado al estado presente del sistema, sus estados pasados ​​y futuros son independientes .

Una cadena de Markov es un tipo de proceso de Markov que tiene un espacio de estados discreto o un conjunto de índices discretos (que a menudo representan el tiempo), pero la definición precisa de una cadena de Markov varía. ^{[ 6 ]} Por ejemplo, es común definir una cadena de Markov como un proceso de Markov en tiempo discreto o continuo con un espacio de estados numerable (por lo tanto, independientemente de la naturaleza del tiempo), ^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]} pero también es común definir una cadena de Markov como que tiene tiempo discreto en un espacio de estados numerable o continuo (por lo tanto, independientemente del espacio de estados). ^{[ 6 ]}

Es necesario especificar el espacio de estados del sistema y el índice del parámetro de tiempo. La siguiente tabla ofrece una visión general de las diferentes instancias de procesos de Markov para distintos niveles de generalidad del espacio de estados, tanto para tiempo discreto como continuo:

Cabe señalar que no existe un acuerdo definitivo en la literatura sobre el uso de algunos términos que designan casos especiales de procesos de Markov. Generalmente, el término "cadena de Markov" se reserva para un proceso con un conjunto discreto de tiempos, es decir, una cadena de Markov de tiempo discreto (CMTD) ^{[ 11 ]} , pero algunos autores utilizan el término "proceso de Markov" para referirse a una cadena de Markov de tiempo continuo (CMTC) sin mención explícita ^{[ 12 ] [ 13 ] [ 14 ]} . Además, existen otras extensiones de procesos de Markov que se denominan así, pero que no necesariamente se incluyen en ninguna de estas cuatro categorías (véase modelo de Markov ). Asimismo, el índice de tiempo no tiene por qué ser necesariamente de valor real; al igual que con el espacio de estados, existen procesos concebibles que se mueven a través de conjuntos de índices con otras construcciones matemáticas. Nótese que la cadena de Markov de tiempo continuo con espacio de estados general es tan general que no tiene un término designado.

Si bien el parámetro de tiempo suele ser discreto, el espacio de estados de una cadena de Markov no tiene restricciones generalmente aceptadas: el término puede referirse a un proceso en un espacio de estados arbitrario. ^{[ 15 ]} Sin embargo, muchas aplicaciones de las cadenas de Markov emplean espacios de estados finitos o infinitos numerables , que presentan un análisis estadístico más directo. Además de los parámetros de índice de tiempo y espacio de estados, existen muchas otras variaciones, extensiones y generalizaciones (véase Variaciones ). Para simplificar, la mayor parte de este artículo se centra en el caso de tiempo discreto y espacio de estados discreto, salvo que se indique lo contrario.

Los cambios de estado del sistema se denominan transiciones. Las probabilidades asociadas a los distintos cambios de estado se denominan probabilidades de transición. El proceso se caracteriza por un espacio de estados, una matriz de transición que describe las probabilidades de transiciones específicas y un estado inicial (o distribución inicial) en dicho espacio. Por convención, se asume que todos los estados y transiciones posibles se han incluido en la definición del proceso, por lo que siempre existe un estado siguiente y el proceso no finaliza.

Un proceso aleatorio de tiempo discreto implica un sistema que se encuentra en un estado determinado en cada paso, y dicho estado cambia aleatoriamente entre pasos. Los pasos suelen considerarse como instantes en el tiempo, pero también pueden referirse a distancias físicas o cualquier otra medida discreta. Formalmente, los pasos son los números enteros o naturales , y el proceso aleatorio es una correspondencia entre estos y los estados. La propiedad de Markov establece que la distribución de probabilidad condicional del sistema en el siguiente paso (y, de hecho, en todos los pasos futuros) depende únicamente del estado actual del sistema, y ​​no del estado del sistema en pasos anteriores.

Dado que el sistema cambia aleatoriamente, generalmente es imposible predecir con certeza el estado de una cadena de Markov en un momento dado del futuro. Sin embargo, sí se pueden predecir las propiedades estadísticas del futuro del sistema. En muchas aplicaciones, son precisamente estas propiedades estadísticas las que resultan importantes.

Supongamos que hay un monedero que contiene cinco monedas de 25¢ (cuartos de dólar), cinco monedas de 10¢ (diez centavos) y cinco monedas de 5¢ (cinco centavos). Una por una, se extraen monedas al azar del monedero y se colocan sobre una mesa. Si${\displaystyle X_{n}}$representa el valor total de las monedas colocadas sobre la mesa después de n extracciones, con${\displaystyle X_{0}=0}$, luego la secuencia${\displaystyle \{X_{n}:n\in \mathbb {N} \}}$no es un proceso de Markov.

Para ver por qué sucede esto, supongamos que en los primeros seis sorteos se extraen las cinco monedas de cinco centavos y una de veinticinco centavos. Por lo tanto,${\displaystyle X_{6}=\$0.50}$Si no sabemos nada más${\displaystyle X_{6}}$, pero también los valores anteriores, entonces podemos determinar qué monedas se han sacado, y sabemos que la siguiente moneda no será un níquel; por lo tanto, podemos determinar que${\displaystyle X_{7}\geq \$0.60}$con probabilidad 1. Pero si no conocemos los valores anteriores, entonces basándonos únicamente en el valor${\displaystyle X_{6}}$podríamos suponer que sacamos cuatro monedas de diez centavos y dos de cinco centavos, en cuyo caso ciertamente sería posible sacar otra moneda de cinco centavos a continuación. Por lo tanto, nuestras suposiciones sobre${\displaystyle X_{7}}$se ven afectados por nuestro conocimiento de los valores anteriores a${\displaystyle X_{6}}$.

Sin embargo, es posible modelar este escenario como un proceso de Markov. En lugar de definir${\displaystyle X_{n}}$Para representar el valor total de las monedas sobre la mesa, podríamos definir${\displaystyle X_{n}}$para representar la cantidad de los distintos tipos de monedas en la mesa. Por ejemplo,${\displaystyle X_{6}=1,0,5}$podría definirse para representar el estado en el que hay una moneda de veinticinco centavos, cero monedas de diez centavos y cinco monedas de cinco centavos sobre la mesa después de 6 extracciones individuales. Este nuevo modelo podría representarse mediante${\displaystyle 6\times 6\times 6=216}$Estados posibles, donde cada estado representa la cantidad de monedas de cada tipo (de 0 a 5) que hay sobre la mesa. (No todos estos estados se pueden alcanzar en 6 extracciones).

Supongamos que el primer sorteo resulta en el estado${\displaystyle X_{1}=0,1,0}$. La probabilidad de lograr${\displaystyle X_{2}}$ahora depende de${\displaystyle X_{1}}$; por ejemplo, el estado${\displaystyle X_{2}=1,0,1}$no es posible. Después del segundo sorteo, el tercer sorteo depende de las monedas que se hayan extraído hasta el momento, pero ya no solo de las monedas que se extrajeron para el primer estado (ya que se ha añadido información probabilísticamente importante al escenario). De esta manera, la probabilidad de la${\displaystyle X_{n}=i,j,k}$El estado depende exclusivamente del resultado de la${\displaystyle X_{n-1}=\ell ,m,p}$estado.

Una cadena de Markov de tiempo discreto es una secuencia de variables aleatorias X ₁ , X ₂ , X ₃ , ... con la propiedad de Markov , es decir, que la probabilidad de pasar al siguiente estado depende solo del estado actual y no de los estados anteriores:

${\displaystyle \Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),}$si ambas probabilidades condicionales están bien definidas, es decir, si${\displaystyle \Pr(X_{1}=x_{1},\ldots ,X_{n}=x_{n})>0.}$

Los posibles valores de X _i forman un conjunto numerable S llamado espacio de estados de la cadena.

Si el espacio de estados es finito , la distribución de probabilidad de transición se puede representar mediante una matriz , llamada matriz de transición, con el elemento ( i , j ) de P igual a

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).}$

Dado que la suma de cada fila de P es igual a uno y todos sus elementos son no negativos, P es una matriz estocástica derecha .

Una cadena de Markov de tiempo continuo${\displaystyle (X_{t})_{t\geq 0}}$Se define mediante un espacio de estados finito o numerable S , una matriz de tasas de transición Q con dimensiones iguales a las del espacio de estados y una distribución de probabilidad inicial definida en dicho espacio. Para i  ≠ j , los elementos q _ij son no negativos y describen la tasa de transición del proceso del estado i al estado j . Los elementos q _ii se eligen de tal manera que la suma de cada fila de la matriz de tasas de transición sea cero, mientras que las sumas de las filas de una matriz de probabilidad de transición en una cadena de Markov (discreta) son todas iguales a uno. 

Hay tres definiciones equivalentes del proceso. ^{[ 45 ]}

Definición infinitesimal

Dejar${\displaystyle X_{t}}$Sea la variable aleatoria que describe el estado del proceso en el instante t , y supongamos que el proceso se encuentra en un estado i en el instante t . Entonces, sabiendo${\displaystyle X_{t}=i}$,${\displaystyle X_{t+h}=j}$es independiente de los valores anteriores${\displaystyle \left(X_{s}:s<t\right)}$y cuando h → 0 para todo j y para todo t , $${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),}$$ dónde${\displaystyle \delta _{ij}}$es la delta de Kronecker , utilizando la notación de o minúscula .${\displaystyle q_{ij}}$puede considerarse como una medida de la rapidez con que se produce la transición de i a j .

La definición de procesos de Markov en tiempo continuo con espacio de estados general es más técnica que la anterior.

Un proceso de Markov en tiempo continuo${\displaystyle X=(X_{t})_{t\geq 0}}$es un proceso estocástico adaptado a una filtración${\displaystyle \mathbb {F} =({\mathcal {F}}_{t})_{t\geq 0}}$con valores en un espacio polaco localmente compacto${\displaystyle (S,{\mathcal {B}}(S))}$(p.ej,${\displaystyle (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$). Esto último esencialmente garantiza que las expectativas condicionales de${\displaystyle X_{t}}$son regulares , lo que, en términos sencillos, significa que se comportan "bien". Entonces${\displaystyle X}$Se denomina proceso de Markov si satisface la propiedad de Markov , es decir, para todo${\displaystyle t\geq s\geq 0}$y${\displaystyle A\in {\mathcal {B}}(S)}$^{[ 5 ]}

${\displaystyle P(X_{t}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{s})}$.

Además,${\displaystyle X}$Se denomina homogéneo en el tiempo si satisface la propiedad débil de Markov para todo${\displaystyle t,s\geq 0}$:

${\displaystyle P(X_{t+s}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{0}=x)|_{x=X_{s}}=:P_{t}(X_{s},A)}$.

La función${\displaystyle (t,x,A)\mapsto P_{t}(x,A)}$es la llamada función de transición de${\displaystyle X}$y${\displaystyle (P_{t})_{t\geq 0}}$el semigrupo de transición del proceso. Las funciones de transición son generalizaciones de las matrices de transición utilizadas en el contexto de un espacio de estados finito.

De una manera más abstracta, los procesos de Markov también pueden definirse o construirse al revés: Sea${\displaystyle (P_{t})_{t\geq 0}}$ser un semigrupo de transición, es decir,

1. ${\displaystyle P_{t}}$es el núcleo de Markov para todos${\displaystyle t\geq 0}$,
2. ${\displaystyle P_{t+s}(x,A)=\int _{S}P_{t}(y,A)P_{s}(x,dy)\quad \forall t,s\geq 0,x\in \mathbb {R} ,A\in {\mathcal {B}}(S)}$(ecuación de Chapman-Kolmogorov),
3. ${\displaystyle P_{0}(x,\cdot )=\delta _{x}}$,

dónde${\displaystyle \delta _{x}}$es la medida de Dirac en${\displaystyle x}$, y${\displaystyle X:\Omega \times [0,\infty )\to S}$. Entonces${\displaystyle X}$es un proceso de Markov homogéneo con respecto a la filtración natural${\displaystyle \mathbb {F} ^{X}=(\sigma (X_{s}:0\leq s\leq t))_{t\geq 0}}$, si para todos${\displaystyle 0\leq t_{1}<...<t_{n}}$,${\displaystyle A_{1},...,A_{n}\in {\mathcal {B}}(S)}$la medida de probabilidad subyacente${\displaystyle P}$Satisface

${\displaystyle P(X_{t_{1}}\in A_{1},...,X_{t_{n}}\in A_{n}\mid X_{0}=x)=\int _{A_{1}}...\int _{A_{n-1}}P_{t_{n}-t_{n-1}}(x_{n-1},A_{n})\cdots P_{t_{1}}(x,dx_{1})}$.

O bien, si no hay medida de probabilidad${\displaystyle P}$Se ha especificado, la ecuación anterior define una medida${\displaystyle P^{x}:=P(\cdot \mid X_{0}=x)}$en${\displaystyle \sigma (X_{s}:s\geq 0)}$bajo el cual el proceso${\displaystyle X}$comenzó en${\displaystyle x}$es un proceso de Markov por construcción.

En otras palabras, los procesos de Markov pueden definirse como procesos estocásticos.${\displaystyle X}$en un espacio de probabilidad filtrado, o indirectamente en términos de un semigrupo de transición (es decir, las probabilidades de transición del proceso), que induce un espacio de probabilidad bajo el cual${\displaystyle X}$tiene la propiedad de Markov.

Dado que la periodicidad es una propiedad de clase, si una cadena de Markov es irreducible, entonces todos sus estados tienen el mismo período. En particular, si un estado es aperiódico, entonces toda la cadena de Markov es aperiódica. ^{[ 50 ]}

Si una cadena de Markov finita es irreducible, entonces todos los estados son recurrentes positivos y tiene una distribución estacionaria única dada por${\displaystyle \pi _{i}=1/E[T_{i}]}$.

Se dice que un estado i es ergódico si es aperiódico y recurrente positivo. En otras palabras, un estado i es ergódico si es recurrente, tiene un período de 1 y un tiempo medio de recurrencia finito.

Si todos los estados en una cadena de Markov irreducible son ergódicos, entonces se dice que la cadena es ergódica. Equivalentemente, existe algún entero${\displaystyle k}$de tal manera que todas las entradas de${\displaystyle M^{k}}$son positivos.

Se puede demostrar que una cadena de Markov irreducible de estado finito es ergódica si tiene un estado aperiódico.

Una cadena de Markov con más de un estado y solo una transición saliente por estado no es irreducible o no es aperiódica, por lo tanto no puede ser ergódica.

Si una cadena de Markov tiene una distribución estacionaria, entonces se puede convertir en un sistema dinámico que conserva la medida : Sea el espacio de probabilidad${\displaystyle \Omega =\Sigma ^{\mathbb {N} }}$, dónde${\displaystyle \Sigma }$es el conjunto de todos los estados para la cadena de Markov. Sea la sigma-álgebra en el espacio de probabilidad generada por los conjuntos de cilindros. Sea la medida de probabilidad generada por la distribución estacionaria y la transición de la cadena de Markov. Sea${\displaystyle T:\Omega \to \Omega }$ser el operador de turno:${\displaystyle T(X_{0},X_{1},\dots )=(X_{1},\dots )}$. De manera similar podemos construir un sistema dinámico de este tipo con${\displaystyle \Omega =\Sigma ^{\mathbb {Z} }}$en cambio. ^{[ 57 ]}

Dado que las cadenas de Markov irreducibles con espacios de estados finitos tienen una distribución estacionaria única, la construcción anterior es inequívoca para las cadenas de Markov irreducibles.

En la teoría ergódica , un sistema dinámico que preserva la medida se llama ergódico si cualquier subconjunto medible${\displaystyle S}$de tal manera que${\displaystyle T^{-1}(S)=S}$implica${\displaystyle S=\emptyset }$o${\displaystyle \Omega }$(hasta un conjunto nulo).

La terminología es inconsistente. Dada una cadena de Markov con una distribución estacionaria estrictamente positiva en todos los estados, la cadena de Markov es irreducible si su sistema dinámico correspondiente que conserva la medida es ergódico . ^{[ 52 ]}

En algunos casos, los procesos aparentemente no markovianos aún pueden tener representaciones markovianas, construidas mediante la expansión del concepto de estados "actuales" y "futuros". Por ejemplo, sea X un proceso no markoviano. Entonces definamos un proceso Y , tal que cada estado de Y represente un intervalo de tiempo de estados de X. Matemáticamente, esto toma la forma:

${\displaystyle Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.}$

Si Y tiene la propiedad de Markov, entonces es una representación markoviana de X.

Un ejemplo de un proceso no markoviano con una representación markoviana es una serie temporal autorregresiva de orden mayor que uno. ^{[ 58 ]}

El tiempo de llegada es el tiempo que transcurre, partiendo de un conjunto de estados dado, hasta que la cadena alcanza un estado o conjunto de estados determinado. La distribución de dicho período de tiempo sigue una distribución de tipo fase. La distribución más simple corresponde a una transición con distribución exponencial.

Para un proceso de Markov general${\displaystyle X}$en tiempo continuo (un CTMC o un proceso con espacio de estados general), el proceso inverso${\displaystyle {\overleftarrow {X}}=(X_{T-t})_{t\in [0,T]}}$desde un tiempo fijo${\displaystyle T>0}$es de nuevo un proceso de Markov. Esto se deduce directamente de la propiedad de Markov : En términos informales, el futuro y el pasado son independientes dado el presente. Bajo inversión temporal, sus roles simplemente se intercambian. Sin embargo, el proceso inverso no es homogéneo en el tiempo en general. Si para algún tiempo aleatorio${\displaystyle \tau }$(no necesariamente un momento de parada ) el proceso detenido${\displaystyle X^{\tau }=(X_{t\land \tau })_{t\geq 0}}$es un proceso de Markov homogéneo en el tiempo, entonces el proceso inverso${\displaystyle {\overleftarrow {X^{\tau }}}=(X_{\tau -t\land \tau }1_{\{\tau <\infty \}})_{t\geq 0}}$es nuevamente homogéneo en el tiempo. ^{[ 60 ]}

Si${\displaystyle X}$es un CTMC, entonces por el lema de Kelly${\displaystyle {\overleftarrow {X}}}$tiene la misma distribución estacionaria que el proceso directo.

Se dice que una cadena es reversible si el proceso inverso es idéntico al proceso directo (en cuanto a su distribución). El criterio de Kolmogorov establece que la condición necesaria y suficiente para que una cadena de Markov sea reversible es que el producto de las tasas de transición alrededor de un bucle cerrado sea el mismo en ambas direcciones.

Un método para encontrar la distribución de probabilidad estacionaria , π , de una cadena de Markov ergódica de tiempo continuo, Q , consiste en encontrar primero su cadena de Markov embebida (CME) . Estrictamente hablando, la CME es una cadena de Markov regular de tiempo discreto, a veces denominada proceso de salto . Cada elemento de la matriz de probabilidad de transición de un paso de la CME, S , se denota por s _ij , y representa la probabilidad condicional de transición del estado i al estado j . Estas probabilidades condicionales pueden encontrarse mediante

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j\\0&{\text{otherwise}}.\end{cases}}}$

A partir de esto, S puede escribirse como

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

donde I es la matriz identidad y diag( Q ) es la matriz diagonal formada al seleccionar la diagonal principal de la matriz Q y establecer todos los demás elementos a cero.

Para encontrar el vector de distribución de probabilidad estacionaria, debemos encontrar a continuación${\displaystyle \varphi }$de tal manera que

${\displaystyle \varphi S=\varphi ,}$

con${\displaystyle \varphi }$siendo un vector fila, de tal manera que todos los elementos en${\displaystyle \varphi }$son mayores que 0 y${\displaystyle \|\varphi \|_{1}}$= 1. A partir de esto, se puede hallar π como

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( S puede ser periódico, incluso si Q no lo es. Una vez que se encuentra π , debe normalizarse a un vector unitario ).

Otro proceso de tiempo discreto que puede derivarse de una cadena de Markov de tiempo continuo es un esqueleto δ : la cadena de Markov (de tiempo discreto) formada al observar X ( t ) a intervalos de δ unidades de tiempo. Las variables aleatorias X (0), X (δ), X (2δ), ... dan la secuencia de estados visitados por el esqueleto δ.   

Los modelos de Markov se utilizan para modelar sistemas cambiantes. Existen cuatro tipos principales de modelos que generalizan las cadenas de Markov dependiendo de si cada estado secuencial es observable o no, y de si el sistema debe ajustarse en función de las observaciones realizadas:

Un esquema de Bernoulli es un caso especial de cadena de Markov donde la matriz de probabilidad de transición tiene filas idénticas, lo que significa que el siguiente estado es independiente incluso del estado actual (además de ser independiente de los estados anteriores). Un esquema de Bernoulli con solo dos estados posibles se conoce como proceso de Bernoulli .

Sin embargo, según el teorema de isomorfismo de Ornstein , toda cadena de Markov aperiódica e irreducible es isomorfa a un esquema de Bernoulli; ^{[ 61 ]} por lo tanto, también se podría afirmar que las cadenas de Markov son un "caso especial" de los esquemas de Bernoulli. El isomorfismo generalmente requiere una recodificación compleja. El teorema de isomorfismo es incluso un poco más fuerte: afirma que cualquier proceso estocástico estacionario es isomorfo a un esquema de Bernoulli; la cadena de Markov es solo un ejemplo de ello.

Cuando la matriz de Markov se reemplaza por la matriz de adyacencia de un grafo finito , el desplazamiento resultante se denomina cadena de Markov topológica o subdesplazamiento de tipo finito . ^{[ 61 ]} Una matriz de Markov compatible con la matriz de adyacencia puede entonces proporcionar una medida sobre el subdesplazamiento. Muchos sistemas dinámicos caóticos son isomorfos a cadenas de Markov topológicas; ejemplos de ello son los difeomorfismos de variedades cerradas , el sistema de Prouhet-Thue-Morse , el sistema de Chacon , los sistemas sóficos , los sistemas libres de contexto y los sistemas de codificación por bloques . ^{[ 61 ]}

Los sistemas markovianos aparecen ampliamente en termodinámica y mecánica estadística , siempre que se utilicen probabilidades para representar detalles desconocidos o no modelados del sistema, si se puede asumir que la dinámica es invariante en el tiempo y que no es necesario considerar ningún historial relevante que no esté ya incluido en la descripción del estado. ^{[ 62 ] [ 63 ]} Por ejemplo, un estado termodinámico opera bajo una distribución de probabilidad que es difícil o costosa de obtener. Por lo tanto, el método de Monte Carlo de cadena de Markov se puede utilizar para extraer muestras aleatoriamente de una caja negra para aproximar la distribución de probabilidad de los atributos en un rango de objetos. ^{[ 63 ]}

Las cadenas de Markov se utilizan en simulaciones de QCD en la red . ^{[ 64 ]}

${\displaystyle {\ce {{E}+{\underset {Substrate \atop binding}{S<=>E}}{\overset {Catalytic \atop step}{S->E}}+P}}}$

Cinética de Michaelis-Menten . La enzima (E) se une a un sustrato (S) y produce un producto (P). Cada reacción es una transición de estado en una cadena de Markov.

Una red de reacciones es un sistema químico que involucra múltiples reacciones y especies químicas . Los modelos estocásticos más simples de tales redes tratan el sistema como una cadena de Markov de tiempo continuo donde el estado es el número de moléculas de cada especie y con las reacciones modeladas como posibles transiciones de la cadena. ^{[ 65 ]} Las cadenas de Markov y los procesos de Markov de tiempo continuo son útiles en química cuando los sistemas físicos se aproximan mucho a la propiedad de Markov. Por ejemplo, imaginemos un gran número n de moléculas en solución en el estado A, cada una de las cuales puede experimentar una reacción química al estado B con una cierta velocidad promedio. Tal vez la molécula sea una enzima , y ​​los estados se refieren a cómo está plegada . El estado de cualquier enzima individual sigue una cadena de Markov, y dado que las moléculas son esencialmente independientes entre sí, el número de moléculas en el estado A o B en un momento dado es n veces la probabilidad de que una molécula dada esté en ese estado.

El modelo clásico de actividad enzimática, la cinética de Michaelis-Menten , puede verse como una cadena de Markov, donde en cada paso de tiempo la reacción procede en alguna dirección. Si bien la cinética de Michaelis-Menten es bastante sencilla, también se pueden modelar redes de reacción mucho más complejas con cadenas de Markov. ^{[ 66 ]}

También se utilizó un algoritmo basado en una cadena de Markov para enfocar el crecimiento de compuestos químicos mediante la fragmentación in silico hacia una clase deseada de compuestos, como fármacos o productos naturales. ^{[ 67 ]} A medida que crece una molécula, se selecciona un fragmento de la molécula naciente como el estado "actual". Este no conoce su pasado (es decir, no sabe qué está ya unido a él). Luego, pasa al siguiente estado cuando se le une un fragmento. Las probabilidades de transición se entrenan con bases de datos de clases auténticas de compuestos. ^{[ 68 ]}

Asimismo, el crecimiento (y la composición) de los copolímeros puede modelarse mediante cadenas de Markov. A partir de las relaciones de reactividad de los monómeros que componen la cadena polimérica en crecimiento, se puede calcular la composición de la cadena (por ejemplo, si los monómeros tienden a añadirse de forma alternada o en largas secuencias del mismo monómero). Debido a efectos estéricos , los efectos de Markov de segundo orden también pueden influir en el crecimiento de algunas cadenas poliméricas.

De manera similar, se ha sugerido que la cristalización y el crecimiento de algunos materiales de óxido de superred epitaxial pueden describirse con precisión mediante cadenas de Markov. ^{[ 69 ]}

Las cadenas de Markov se utilizan en diversas áreas de la biología. Algunos ejemplos notables son:

• Filogenética y bioinformática , donde la mayoría de los modelos de evolución del ADN utilizan cadenas de Markov de tiempo continuo para describir el nucleótido presente en un sitio determinado del genoma .
• Dinámica de poblaciones , donde las cadenas de Markov son en particular una herramienta central en el estudio teórico de los modelos matriciales de población .
• Neurobiología , donde se han utilizado cadenas de Markov, por ejemplo, para simular la neocorteza de los mamíferos. ^{[ 70 ]}
• Biología de sistemas , por ejemplo, con el modelado de la infección viral de células individuales. ^{[ 71 ]}
• Modelos compartimentales para la modelización de brotes de enfermedades y epidemias.

Las cadenas de Markov se utilizan en todo el procesamiento de la información. El famoso artículo de Claude Shannon de 1948 , "Una teoría matemática de la comunicación" , que en un solo paso creó el campo de la teoría de la información , comienza introduciendo el concepto de entropía al modelar textos en un lenguaje natural (como el inglés) generados por un proceso de Markov ergódico, donde cada letra puede depender estadísticamente de las letras anteriores. ^{[ 72 ]} Estos modelos idealizados pueden capturar muchas de las regularidades estadísticas de los sistemas. Incluso sin describir la estructura completa del sistema a la perfección, estos modelos de señales pueden hacer posible una compresión de datos muy efectiva a través de técnicas de codificación de entropía como la codificación aritmética . También permiten una estimación de estado y un reconocimiento de patrones efectivos . Las cadenas de Markov también juegan un papel importante en el aprendizaje por refuerzo .

Las cadenas de Markov también son la base de los modelos ocultos de Markov, que son una herramienta importante en campos tan diversos como las redes telefónicas (que utilizan el algoritmo de Viterbi para la corrección de errores), el reconocimiento de voz y la bioinformática (como en la detección de reordenamientos ^{[ 73 ]} ).

El algoritmo de compresión de datos sin pérdidas LZMA combina cadenas de Markov con la compresión Lempel-Ziv para lograr índices de compresión muy altos.

Las cadenas de Markov son la base del tratamiento analítico de las colas ( teoría de colas ). Agner Krarup Erlang inició el tema en 1917. ^{[ 74 ]} Esto las hace fundamentales para optimizar el rendimiento de las redes de telecomunicaciones, donde los mensajes a menudo deben competir por recursos limitados (como el ancho de banda). ^{[ 75 ]}

Numerosos modelos de colas utilizan cadenas de Markov de tiempo continuo. Por ejemplo, una cola M/M/1 es una CTMC sobre los enteros no negativos, donde las transiciones ascendentes de i a i  +  1 ocurren a una tasa λ según un proceso de Poisson y describen las llegadas de trabajos, mientras que las transiciones de i a i  –  1 (para i  >  1) ocurren a una tasa μ (los tiempos de servicio de los trabajos se distribuyen exponencialmente) y describen los servicios completados (salidas) de la cola.

El PageRank de una página web, tal como lo utiliza Google , se define mediante una cadena de Markov. ^{[ 76 ] [ 77 ] [ 78 ]} Es la probabilidad de estar en la página${\displaystyle i}$en la distribución estacionaria en la siguiente cadena de Markov en todas las páginas web (conocidas). Si${\displaystyle N}$es el número de páginas web conocidas, y una página${\displaystyle i}$tiene${\displaystyle k_{i}}$enlaces salientes desde él entonces tiene probabilidad de transición${\displaystyle {\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}}$para todas las páginas que están vinculadas y${\displaystyle {\frac {1-\alpha }{N}}}$para todas las páginas que no están enlazadas. El parámetro${\displaystyle \alpha }$se considera que es aproximadamente 0,85. ^{[ 79 ]}

Los modelos de Markov también se han utilizado para analizar el comportamiento de navegación web de los usuarios. La transición de un usuario a través de los enlaces de un sitio web específico puede modelarse mediante modelos de Markov de primer o segundo orden, y pueden utilizarse para realizar predicciones sobre la navegación futura y para personalizar la página web para cada usuario.

Los métodos de cadena de Markov también se han vuelto muy importantes para generar secuencias de números aleatorios que reflejen con precisión distribuciones de probabilidad deseadas muy complejas, mediante un proceso llamado Monte Carlo de cadena de Markov (MCMC). En los últimos años, esto ha revolucionado la viabilidad de los métodos de inferencia bayesiana , permitiendo simular una amplia gama de distribuciones posteriores y hallar numéricamente sus parámetros.

Las cadenas de Markov se utilizan en finanzas y economía para modelar una variedad de fenómenos diferentes, incluyendo la distribución del ingreso, la distribución del tamaño de las empresas, los precios de los activos y las caídas del mercado. DG Champernowne construyó un modelo de cadena de Markov de la distribución del ingreso en 1953. ^{[ 80 ]} Herbert A. Simon y su coautor Charles Bonini utilizaron un modelo de cadena de Markov para derivar una distribución estacionaria de Yule de tamaños de empresas. ^{[ 81 ]} Louis Bachelier fue el primero en observar que los precios de las acciones seguían un paseo aleatorio. ^{[ 82 ]} El paseo aleatorio fue visto más tarde como evidencia a favor de la hipótesis del mercado eficiente y los modelos de paseo aleatorio fueron populares en la literatura de la década de 1960. ^{[ 83 ]} Los modelos de cambio de régimen de los ciclos económicos fueron popularizados por James D. Hamilton (1989), quien utilizó una cadena de Markov para modelar cambios entre períodos de alto y bajo crecimiento del PIB (o, alternativamente, expansiones y recesiones económicas). ^{[ 84 ]} Un ejemplo más reciente es el modelo multifractal de conmutación de Markov de Laurent E. Calvet y Adlai J. Fisher, que se basa en la conveniencia de modelos anteriores de cambio de régimen. ^{[ 85 ] [ 86 ]} Utiliza una cadena de Markov arbitrariamente grande para impulsar el nivel de volatilidad de los rendimientos de los activos.

La macroeconomía dinámica hace un uso extensivo de las cadenas de Markov. Un ejemplo es el uso de cadenas de Markov para modelar exógenamente los precios de las acciones en un entorno de equilibrio general . ^{[ 87 ]}

Las agencias de calificación crediticia elaboran tablas anuales de las probabilidades de transición para bonos de diferentes calificaciones crediticias. ^{[ 88 ]}

Las cadenas de Markov se utilizan generalmente para describir argumentos dependientes de la trayectoria , donde las configuraciones estructurales actuales condicionan los resultados futuros. Un ejemplo es la reformulación de la idea, originalmente debida a El Capital de Karl Marx , que vincula el desarrollo económico con el auge del capitalismo . En la investigación actual, es común utilizar una cadena de Markov para modelar cómo, una vez que un país alcanza un nivel específico de desarrollo económico, la configuración de factores estructurales, como el tamaño de la clase media , la proporción de residencia urbana frente a rural, la tasa de movilización política , etc., generará una mayor probabilidad de transición de un régimen autoritario a uno democrático . ^{[ 89 ]}

Las cadenas de Markov se emplean en la composición musical algorítmica , particularmente en software como Csound , Max y SuperCollider . En una cadena de primer orden, los estados del sistema se convierten en valores de notas o tonos, y se construye un vector de probabilidad para cada nota, completando una matriz de probabilidad de transición (véase más abajo). Se construye un algoritmo para producir valores de notas de salida basados ​​en las ponderaciones de la matriz de transición, que pueden ser valores de notas MIDI , frecuencia ( Hz ) o cualquier otra métrica deseada. ^{[ 90 ]}

Una cadena de Markov de segundo orden puede introducirse considerando el estado actual y también el estado anterior, como se indica en la segunda tabla. Las cadenas de orden superior, de orden n, tienden a "agrupar" notas particulares, mientras que ocasionalmente se "desvían" hacia otros patrones y secuencias. Estas cadenas de orden superior tienden a generar resultados con una estructura fraseológica , en lugar del "vagabundeo sin rumbo" producido por un sistema de primer orden. ^{[ 91 ]}

Las cadenas de Markov pueden utilizarse estructuralmente, como en Analogique A y B de Xenakis. ^{[ 92 ]} Las cadenas de Markov también se utilizan en sistemas que emplean un modelo de Markov para reaccionar interactivamente a la entrada musical. ^{[ 93 ]}

Por lo general, los sistemas musicales necesitan imponer restricciones de control específicas a las secuencias de longitud finita que generan, pero estas restricciones no son compatibles con los modelos de Markov, ya que inducen dependencias de largo alcance que violan la hipótesis de memoria limitada de Markov. Para superar esta limitación, se ha propuesto un nuevo enfoque. ^{[ 94 ]}

Las cadenas de Markov pueden utilizarse para modelar muchos juegos de azar. Los juegos infantiles Serpientes y Escaleras y " ¡Hola, Cherry-O! ", por ejemplo, se representan con precisión mediante cadenas de Markov. En cada turno, el jugador comienza en un estado determinado (en una casilla específica) y, a partir de ahí, tiene una probabilidad fija de pasar a otros estados (casillas).

Los modelos de cadena de Markov se han utilizado en el análisis avanzado del béisbol desde 1960, aunque su uso sigue siendo poco frecuente. Cada media entrada de un partido de béisbol se ajusta al estado de la cadena de Markov cuando se considera el número de corredores y outs. Durante cualquier turno al bate, hay 24 combinaciones posibles de número de outs y posición de los corredores. Mark Pankin demuestra que los modelos de cadena de Markov pueden utilizarse para evaluar las carreras generadas tanto por jugadores individuales como por un equipo. ^{[ 95 ]} También analiza diversos tipos de estrategias y condiciones de juego: cómo se han utilizado los modelos de cadena de Markov para analizar estadísticas en situaciones de juego como el toque de bola y el robo de bases , y las diferencias al jugar en césped natural frente a césped artificial . ^{[ 96 ]}

Los procesos de Markov también pueden utilizarse para generar texto de apariencia superficialmente real a partir de un documento de muestra. Estos procesos se emplean en diversos programas de generación de parodias con fines recreativos (véase Dissociated Press , Jeff Harrison, ^{[ 97 ]} Mark V. Shaney , ^{[ 98 ] [ 99 ]} y Academias Neutronium). Existen varias bibliotecas de código abierto para la generación de texto mediante cadenas de Markov.