Matriz estocástica

En matemáticas, una matriz estocástica es una matriz cuadrada que se utiliza para describir las transiciones de una cadena de Markov . Cada una de sus entradas es un número real no negativo que representa una probabilidad . ^{[ 1 ] [ 2 ] : 10} También se la denomina matriz de probabilidad , matriz de transición , matriz de sustitución o matriz de Markov . La matriz estocástica fue desarrollada por primera vez por Andrey Markov a principios del siglo XX y se ha utilizado en una amplia variedad de campos científicos, como la teoría de la probabilidad , la estadística, las finanzas matemáticas y el álgebra lineal , así como la informática y la genética de poblaciones . Existen varias definiciones y tipos diferentes de matrices estocásticas:

• Una matriz estocástica derecha es una matriz cuadrada de números reales no negativos, donde la suma de cada fila es igual a 1 (por lo que también se la denomina matriz estocástica por filas ).
• Una matriz estocástica izquierda es una matriz cuadrada de números reales no negativos, donde la suma de cada columna es igual a 1 (por lo que también se la denomina matriz estocástica de columnas ).
• Una matriz doblemente estocástica es una matriz cuadrada de números reales no negativos en la que la suma de cada fila y columna es igual a 1.
• Una matriz subestocástica es una matriz cuadrada real cuyas sumas de filas son todas iguales.${\displaystyle \leq 1.}$

En la misma línea, se puede definir un vector de probabilidad como un vector cuyos elementos son números reales no negativos cuya suma es 1. Así, cada fila de una matriz estocástica derecha (o columna de una matriz estocástica izquierda) es un vector de probabilidad. Las matrices estocásticas derechas actúan sobre los vectores fila de probabilidades mediante la multiplicación desde la derecha (de ahí su nombre) y la entrada de la matriz en la i -ésima fila y la j -ésima columna es la probabilidad de transición del estado i al estado j . Las matrices estocásticas izquierdas actúan sobre los vectores columna de probabilidades mediante la multiplicación desde la izquierda (de ahí su nombre) y la entrada de la matriz en la i -ésima fila y la j -ésima columna es la probabilidad de transición del estado j al estado i .

Este artículo utiliza la convención de matriz estocástica derecha/fila.

La matriz estocástica fue desarrollada junto con la cadena de Markov por Andrey Markov , un matemático ruso y profesor de la Universidad de San Petersburgo que publicó por primera vez sobre el tema en 1906. ^{[ 3 ]} Sus usos iniciales estaban destinados al análisis lingüístico y otros temas matemáticos como el barajado de cartas , pero tanto las cadenas de Markov como las matrices encontraron rápidamente aplicaciones en otros campos. ^{[ 3 ] [ 4 ]}

Las matrices estocásticas fueron desarrolladas aún más por académicos como Andrey Kolmogorov , quien amplió sus posibilidades al permitir procesos de Markov de tiempo continuo. ^{[ 5 ]} En la década de 1950, aparecieron artículos que utilizaban matrices estocásticas en los campos de la econometría ^{[ 6 ]} y la teoría de circuitos . ^{[ 7 ]} En la década de 1960, las matrices estocásticas aparecieron en una variedad aún más amplia de trabajos científicos, desde la ciencia del comportamiento ^{[ 8 ]} hasta la geología ^{[ 9 ] [ 10 ]} y la planificación residencial . ^{[ 11 ]} Además, durante estas décadas también se realizó mucho trabajo matemático para mejorar el rango de usos y la funcionalidad de la matriz estocástica y los procesos markovianos en general.

Desde la década de 1970 hasta la actualidad, las matrices estocásticas se han utilizado en casi todos los campos que requieren análisis formal, desde la ciencia estructural ^{[ 12 ]} hasta el diagnóstico médico ^{[ 13 ]} y la gestión de personal ^{[ 14 ]} . Además, las matrices estocásticas se han utilizado ampliamente en la modelización de cambios en el uso del suelo , generalmente bajo el término matriz de Markov ^{[ 15 ] .}

Una matriz estocástica describe una cadena de Markov X _t sobre un espacio de estados finito S con cardinalidad α .

Si la probabilidad de pasar de i a j en un paso de tiempo es Pr( j | i ) = P _{i , j} , la matriz estocástica P viene dada por P _{i , j} como el elemento de la i -ésima fila y la j -ésima columna, por ejemplo,

$${\displaystyle P=\left[{\begin{matrix}P_{1,1}&P_{1,2}&\dots &P_{1,j}&\dots &P_{1,\alpha }\\P_{2,1}&P_{2,2}&\dots &P_{2,j}&\dots &P_{2,\alpha }\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\P_{i,1}&P_{i,2}&\dots &P_{i,j}&\dots &P_{i,\alpha }\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\P_{\alpha ,1}&P_{\alpha ,2}&\dots &P_{\alpha ,j}&\dots &P_{\alpha ,\alpha }\\\end{matrix}}\right].}$$

Dado que la suma de las probabilidades de transición de un estado i a todos los demás estados debe ser 1, $${\displaystyle \forall i\in \{1,\ldots ,\alpha \},\quad \sum _{j=1}^{\alpha }P_{i,j}=1;\,}$$ Por lo tanto, esta matriz es una matriz estocástica derecha.

La suma elemento a elemento anterior en cada fila i de P se puede escribir de forma más concisa como P 1 = 1 , donde 1 es el vector columna α -dimensional de todos unos. Usando esto, se puede ver que el producto de dos matrices estocásticas derechas P ′ y P ′′ también es estocástico derecho: P ′ P ′′ 1 = P ′ ( P ′′ 1 ) = P ′ 1 = 1 . En general, la k -ésima potencia P ^k de una matriz estocástica derecha P también es estocástica derecha. La probabilidad de transición de i a j en dos pasos viene dada entonces por el ( i , j ) -ésimo elemento del cuadrado de P :

$${\displaystyle \left(P^{2}\right)_{i,j}.}$$

En general, la probabilidad de transición de pasar de cualquier estado a otro estado en una cadena de Markov finita dada por la matriz P en k pasos viene dada por P ^k .

Se proporciona una distribución de probabilidad inicial de los estados, especificando dónde podría estar inicialmente el sistema y con qué probabilidades, como un vector fila .

Un vector de probabilidad estacionario π se define como una distribución, escrita como un vector fila, que no cambia bajo la aplicación de la matriz de transición; es decir, se define como una distribución de probabilidad en el conjunto {1, …, n } que también es un vector propio izquierdo de la matriz de probabilidad, asociado con el valor propio 1:

$${\displaystyle {\boldsymbol {\pi }}P={\boldsymbol {\pi }}.}$$

Se puede demostrar que el radio espectral de cualquier matriz estocástica es uno. Según el teorema del círculo de Gershgorin , todos los autovalores de una matriz estocástica tienen valores absolutos menores o iguales a uno. Más precisamente, los autovalores de${\displaystyle n}$-por-${\displaystyle n}$Las matrices estocásticas están restringidas a estar dentro de un subconjunto del disco unitario complejo, conocido como regiones de Karpelevič. ^{[ 16 ]} Este resultado fue obtenido originalmente por Fridrikh Karpelevich , ^{[ 17 ]} siguiendo una pregunta planteada originalmente por Kolmogorov ^{[ 18 ]} y abordada parcialmente por Nikolay Dmitriyev y Eugene Dynkin . ^{[ 19 ]}

Además, toda matriz estocástica derecha tiene un vector propio de columna "obvio" asociado al valor propio 1: el vector 1 utilizado anteriormente, cuyas coordenadas son todas iguales a 1. Como los valores propios izquierdo y derecho de una matriz cuadrada son iguales, toda matriz estocástica tiene, al menos, un vector propio izquierdo asociado al valor propio 1 y el mayor valor absoluto de todos sus valores propios también es 1. Finalmente, el Teorema del Punto Fijo de Brouwer (aplicado al conjunto convexo compacto de todas las distribuciones de probabilidad del conjunto finito {1, ..., n } ) implica que existe algún vector propio izquierdo que también es un vector de probabilidad estacionario.

Por otro lado, el teorema de Perron-Frobenius también garantiza que toda matriz estocástica irreducible tiene un vector estacionario de este tipo, y que el mayor valor absoluto de un valor propio es siempre 1. Sin embargo, este teorema no se puede aplicar directamente a dichas matrices porque no necesariamente son irreducibles. En general, puede haber varios vectores de este tipo. Sin embargo, para una matriz con entradas estrictamente positivas (o, más generalmente, para una matriz estocástica aperiódica irreducible), este vector es único y se puede calcular observando que para cualquier i tenemos el siguiente límite:

$${\displaystyle \lim _{k\rightarrow \infty }\left(P^{k}\right)_{i,j}={\boldsymbol {\pi }}_{j},}$$

donde π _j es el j -ésimo elemento del vector fila π . Entre otras cosas, esto significa que la probabilidad a largo plazo de estar en un estado j es independiente del estado inicial i . Que ambos cálculos den el mismo vector estacionario es una forma de teorema ergódico , que generalmente es cierto en una amplia variedad de sistemas dinámicos disipativos : el sistema evoluciona, con el tiempo, hacia un estado estacionario .

Intuitivamente, una matriz estocástica representa una cadena de Markov; la aplicación de la matriz estocástica a una distribución de probabilidad redistribuye la masa de probabilidad de la distribución original, conservando su masa total. Si este proceso se aplica repetidamente, la distribución converge a una distribución estacionaria para la cadena de Markov. ^{[ 2 ] : 14–17 [ 20 ] : 116}

Las matrices estocásticas y su producto forman una categoría que es a la vez una subcategoría de la categoría de matrices y de la de núcleos de Markov .

Supongamos que hay un temporizador y una fila de cinco casillas adyacentes. En el tiempo cero, un gato está en la primera casilla y un ratón en la quinta. Tanto el gato como el ratón saltan a una casilla adyacente al azar cuando el temporizador avanza. Por ejemplo, si el gato está en la segunda casilla y el ratón en la cuarta, la probabilidad de que el gato esté en la primera y el ratón en la quinta después de que el temporizador avance es de un cuarto. Si el gato está en la primera y el ratón en la quinta, la probabilidad de que el gato esté en la segunda y el ratón en la cuarta después de que el temporizador avance es de uno. El gato se come al ratón si ambos terminan en la misma casilla, momento en el que finaliza el juego. Sea K la variable aleatoria que representa el tiempo que el ratón permanece en el juego.

La cadena de Markov que representa este juego contiene los siguientes cinco estados especificados por la combinación de posiciones (gato, ratón). Nótese que, si bien una enumeración simple de estados mostraría 25 estados, muchos son imposibles, ya sea porque el ratón nunca puede tener un índice menor que el gato (ya que eso significaría que el ratón ocupó la caja del gato y sobrevivió para pasarla), o porque la suma de los dos índices siempre tendrá paridad par . Además, los 3 estados posibles que conducen a la muerte del ratón se combinan en uno solo:

• Estado 1: (1,3)
• Estado 2: (1,5)
• Estado 3: (2,4)
• Estado 4: (3,5)
• Estado 5: fin del juego: (2,2), (3,3) y (4,4).

Utilizamos una matriz estocástica,${\displaystyle P}$(abajo), para representar las probabilidades de transición de este sistema (las filas y columnas de esta matriz están indexadas por los posibles estados enumerados anteriormente, con el estado previo a la transición como la fila y el estado posterior a la transición como la columna). Por ejemplo, partiendo del estado 1 – primera fila – es imposible que el sistema permanezca en este estado, por lo que${\displaystyle P_{11}=0}$; el sistema tampoco puede pasar al estado 2, porque el gato se habría quedado en la misma caja, así que${\displaystyle P_{12}=0}$y mediante un argumento similar para el ratón,${\displaystyle P_{14}=0}$. Se permiten transiciones a los estados 3 o 5, y por lo tanto${\displaystyle P_{13},P_{15}\neq 0}$.

$${\displaystyle P={\begin{bmatrix}0&0&1/2&0&1/2\\0&0&1&0&0\\1/4&1/4&0&1/4&1/4\\0&0&1/2&0&1/2\\0&0&0&0&1\end{bmatrix}}.}$$

Representación de tipo fase

Como el estado 5 es un estado absorbente, la distribución del tiempo de absorción es una distribución discreta de tipo fase . Supongamos que el sistema comienza en el estado 2, representado por el vector${\displaystyle [0,1,0,0,0]}$. Los estados en los que el ratón ha perecido no contribuyen al promedio de supervivencia, por lo que el estado cinco puede ignorarse. El estado inicial y la matriz de transición se pueden reducir a:

$${\displaystyle {\boldsymbol {\tau }}=[0,1,0,0],\qquad T={\begin{bmatrix}0&0&{\frac {1}{2}}&0\\0&0&1&0\\{\frac {1}{4}}&{\frac {1}{4}}&0&{\frac {1}{4}}\\0&0&{\frac {1}{2}}&0\end{bmatrix}},}$$

y

$${\displaystyle (I-T)^{-1}{\boldsymbol {1}}={\begin{bmatrix}2.75\\4.5\\3.5\\2.75\end{bmatrix}},}$$

dónde${\displaystyle I}$es la matriz identidad y${\displaystyle \mathbf {1} }$representa una matriz columna de todos unos que actúa como una suma sobre los estados.

Dado que cada estado está ocupado durante un paso de tiempo, el tiempo esperado de supervivencia del ratón es simplemente la suma de la probabilidad de ocupación sobre todos los estados y pasos de tiempo en los que sobrevive.

$${\displaystyle E[K]={\boldsymbol {\tau }}\left(I+T+T^{2}+\cdots \right){\boldsymbol {1}}={\boldsymbol {\tau }}(I-T)^{-1}{\boldsymbol {1}}=4.5.}$$

Los momentos de orden superior vienen dados por

$${\displaystyle E[K(K-1)\dots (K-n+1)]=n!{\boldsymbol {\tau }}(I-{T})^{-n}{T}^{n-1}\mathbf {1} \,.}$$

• Matriz de densidad
• núcleo de Markov , el equivalente de una matriz estocástica sobre un espacio de estados continuo
• ecuación de diferencias matriciales
• Modelos de evolución del ADN
• La desigualdad de Muirhead
• Autómata probabilístico
• Matriz de tasas de transición , utilizada para generalizar la matriz estocástica a tiempo continuo.