Mutual information

La información mutua de dos variables aleatorias discretas conjuntas${\displaystyle X}$y${\displaystyle Y}$se calcula como una suma doble: ^{[ 3 ] : 20}

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{P_{(X,Y)}(x,y)\log \left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)}}$,

dónde${\displaystyle P_{(X,Y)}}$es la función de masa de probabilidad conjunta de${\displaystyle X}$y${\displaystyle Y}$, y${\displaystyle P_{X}}$y${\displaystyle P_{Y}}$son las funciones de masa de probabilidad marginal de${\displaystyle X}$y${\displaystyle Y}$respectivamente.

En el caso de variables aleatorias continuas conjuntas, la suma doble se reemplaza por una integral doble : ^{[ 3 ] : 251}

${\displaystyle \operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{P_{(X,Y)}(x,y)\log {\left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)}}\;dx\,dy}$,

dónde${\displaystyle P_{(X,Y)}}$ahora es la función de densidad de probabilidad conjunta de${\displaystyle X}$y${\displaystyle Y}$, y${\displaystyle P_{X}}$y${\displaystyle P_{Y}}$son las funciones de densidad de probabilidad marginal de${\displaystyle X}$y${\displaystyle Y}$respectivamente.

Utilizando la desigualdad de Jensen sobre la definición de información mutua podemos demostrar que${\displaystyle \operatorname {I} (X;Y)}$es no negativo, es decir ^{[ 3 ] : 28}

${\displaystyle \operatorname {I} (X;Y)\geq 0}$

${\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)}$

La demostración se presenta considerando la relación con la entropía, como se muestra a continuación.

Si${\displaystyle C}$es independiente de${\displaystyle (A,B)}$, entonces

${\displaystyle \operatorname {I} (Y;A,B,C)-\operatorname {I} (Y;A,B)\geq \operatorname {I} (Y;A,C)-\operatorname {I} (Y;A)}$. ^{[ 4 ]}

La información mutua puede expresarse de forma equivalente como:

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X\mid Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{aligned}}}$

dónde${\displaystyle \mathrm {H} (X)}$y${\displaystyle \mathrm {H} (Y)}$son las entropías marginales ,${\displaystyle \mathrm {H} (X\mid Y)}$y${\displaystyle \mathrm {H} (Y\mid X)}$son las entropías condicionales y${\displaystyle \mathrm {H} (X,Y)}$es la entropía conjunta de${\displaystyle X}$y${\displaystyle Y}$.

Nótese la analogía con la unión, la diferencia y la intersección de dos conjuntos: en este sentido, todas las fórmulas dadas anteriormente se desprenden del diagrama de Venn que se muestra al principio del artículo.

En términos de un canal de comunicación en el que la salida${\displaystyle Y}$es una versión ruidosa de la entrada${\displaystyle X}$Estas relaciones se resumen en la figura:

Porque${\displaystyle \operatorname {I} (X;Y)}$es no negativo, por consiguiente,${\displaystyle \mathrm {H} (X)\geq \mathrm {H} (X\mid Y)}$Aquí presentamos la deducción detallada de${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (Y)-\mathrm {H} (Y\mid X)}$para el caso de variables aleatorias discretas conjuntas:

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)p_{Y}(y)}}\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)}}-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{X}(x)p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}}}p_{X}(x)\left(\sum _{y\in {\mathcal {Y}}}p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)\right)-\sum _{y\in {\mathcal {Y}}}\left(\sum _{x\in {\mathcal {X}}}p_{(X,Y)}(x,y)\right)\log p_{Y}(y)\\&{}=-\sum _{x\in {\mathcal {X}}}p_{X}(x)\mathrm {H} (Y\mid X=x)-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log p_{Y}(y)\\&{}=-\mathrm {H} (Y\mid X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y\mid X).\\\end{aligned}}}$

Las demostraciones de las demás identidades mencionadas anteriormente son similares. La demostración del caso general (no solo el discreto) también es similar, sustituyendo las sumas por integrales.

Intuitivamente, si la entropía${\displaystyle \mathrm {H} (Y)}$se considera una medida de incertidumbre sobre una variable aleatoria, entonces${\displaystyle \mathrm {H} (Y\mid X)}$es una medida de qué${\displaystyle X}$no dice nada sobre${\displaystyle Y}$. Esta es "la cantidad de incertidumbre que queda sobre${\displaystyle Y}$después${\displaystyle X}$se conoce", y por lo tanto el lado derecho de la segunda de estas igualdades puede leerse como "la cantidad de incertidumbre en${\displaystyle Y}$, menos la cantidad de incertidumbre en${\displaystyle Y}$que queda después${\displaystyle X}$se conoce", lo cual es equivalente a "la cantidad de incertidumbre en${\displaystyle Y}$que se elimina al saber${\displaystyle X}$"Esto corrobora el significado intuitivo de la información mutua como la cantidad de información (es decir, la reducción de la incertidumbre) que el conocimiento de cualquiera de las variables proporciona sobre la otra."

Tenga en cuenta que en el caso discreto${\displaystyle \mathrm {H} (Y\mid Y)=0}$y por lo tanto${\displaystyle \mathrm {H} (Y)=\operatorname {I} (Y;Y)}$. De este modo${\displaystyle \operatorname {I} (Y;Y)\geq \operatorname {I} (X;Y)}$y se puede formular el principio básico de que una variable contiene al menos tanta información sobre sí misma como cualquier otra variable.

Para pares conjuntamente discretos o conjuntamente continuos${\displaystyle (X,Y)}$, la información mutua es la divergencia de Kullback-Leibler del producto de las distribuciones marginales ,${\displaystyle p_{X}\cdot p_{Y}}$, de la distribución conjunta${\displaystyle p_{(X,Y)}}$, eso es,

${\displaystyle \operatorname {I} (X;Y)=D_{\text{KL}}\left(p_{(X,Y)}\parallel p_{X}p_{Y}\right)}$

Además, dejemos${\displaystyle p_{(X,Y)}(x,y)=p_{X\mid Y=y}(x)*p_{Y}(y)}$Sea la función de masa o densidad condicional. Entonces, tenemos la identidad

${\displaystyle \operatorname {I} (X;Y)=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right]}$

La demostración para variables aleatorias discretas conjuntas es la siguiente:

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{(X,Y)}(x,y)\log \left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}\\&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)p_{Y}(y)\log {\frac {p_{X\mid Y=y}(x)p_{Y}(y)}{p_{X}(x)p_{Y}(y)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)\log {\frac {p_{X\mid Y=y}(x)}{p_{X}(x)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\;D_{\text{KL}}\!\left(p_{X\mid Y=y}\parallel p_{X}\right)\\&=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right].\end{aligned}}}$

De manera similar, esta identidad puede establecerse para variables aleatorias continuas conjuntas.

Nótese que aquí la divergencia de Kullback-Leibler implica la integración sobre los valores de la variable aleatoria.${\displaystyle X}$solamente, y la expresión${\displaystyle D_{\text{KL}}(p_{X\mid Y}\parallel p_{X})}$sigue denotando una variable aleatoria porque${\displaystyle Y}$es aleatorio. Por lo tanto, la información mutua también puede entenderse como la expectativa sobre${\displaystyle Y}$de la divergencia de Kullback-Leibler de la distribución condicional${\displaystyle p_{X\mid Y}}$de${\displaystyle X}$dado${\displaystyle Y}$de la distribución univariada${\displaystyle p_{X}}$de${\displaystyle X}$: cuanto más diferentes sean las distribuciones${\displaystyle p_{X\mid Y}}$y${\displaystyle p_{X}}$son en promedio, mayor es la ganancia de información .

Si se dispone de muestras de una distribución conjunta, se puede utilizar un enfoque bayesiano para estimar la información mutua de dicha distribución. El primer trabajo que hizo esto, que también mostró cómo realizar la estimación bayesiana de muchas otras propiedades de la teoría de la información además de la información mutua, fue ^{[ 5 ]} . Investigadores posteriores han vuelto a derivar ^{[ 6 ]} y extendido ^{[ 7 ]} este análisis. Véase ^{[ 8 ]} para un artículo reciente basado en una distribución a priori específicamente adaptada a la estimación de la información mutua en sí misma. Además, recientemente se ha desarrollado un método de estimación que tiene en cuenta salidas continuas y multivariadas. ${\displaystyle Y}$, fue propuesto en . ^{[ 9 ]}

La formulación de la divergencia de Kullback-Leibler de la información mutua se basa en que uno está interesado en comparar${\displaystyle p(x,y)}$al producto exterior totalmente factorizado${\displaystyle p(x)\cdot p(y)}$En muchos problemas, como la factorización de matrices no negativas , uno está interesado en factorizaciones menos extremas; específicamente, uno desea comparar${\displaystyle p(x,y)}$a una aproximación matricial de bajo rango en alguna variable desconocida${\displaystyle w}$; es decir, en qué grado uno podría tener

${\displaystyle p(x,y)\approx \sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}$

Alternativamente, uno podría estar interesado en saber cuánta más información${\displaystyle p(x,y)}$lleva consigo su factorización. En tal caso, la información sobrante que la distribución completa${\displaystyle p(x,y)}$La factorización de la matriz se obtiene mediante la divergencia de Kullback-Leibler.

${\displaystyle \operatorname {I} _{LRMA}=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p(x,y)\log {\left({\frac {p(x,y)}{\sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}}\right)}},}$

La definición convencional de la información mutua se recupera en el caso extremo de que el proceso${\displaystyle W}$tiene solo un valor para${\displaystyle w}$.

Muchas aplicaciones requieren una métrica , es decir, una medida de distancia entre pares de puntos. La cantidad

${\displaystyle {\begin{aligned}d(X,Y)&=\mathrm {H} (X,Y)-\operatorname {I} (X;Y)\\&=\mathrm {H} (X)+\mathrm {H} (Y)-2\operatorname {I} (X;Y)\\&=\mathrm {H} (X\mid Y)+\mathrm {H} (Y\mid X)\\&=2\mathrm {H} (X,Y)-\mathrm {H} (X)-\mathrm {H} (Y)\end{aligned}}}$

Satisface las propiedades de una métrica ( desigualdad triangular , no negatividad , indiscernibilidad y simetría) para variables aleatorias discretas.${\displaystyle X}$y${\displaystyle Y}$donde la igualdad${\displaystyle X=Y}$se entiende que significa que${\displaystyle X}$puede determinarse completamente a partir de${\displaystyle Y}$. ^{[ 10 ]}

Esta métrica de distancia también se conoce como variación de información .

Si${\displaystyle X,Y}$Si son variables aleatorias discretas, entonces todos los términos de entropía son no negativos, por lo tanto${\displaystyle 0\leq d(X,Y)\leq \mathrm {H} (X,Y)}$y se puede definir una distancia normalizada

${\displaystyle D(X,Y)={\frac {d(X,Y)}{\mathrm {H} (X,Y)}}\leq 1.}$

Al introducir las definiciones se observa que

${\displaystyle D(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}.}$

Esto se conoce como la distancia de Rajski. ^{[ 11 ]} En una interpretación de la información basada en la teoría de conjuntos (véase la figura para la entropía condicional ), esto es efectivamente la distancia de Jaccard entre${\displaystyle X}$y${\displaystyle Y}$.

Finalmente,

${\displaystyle D^{\prime }(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\max \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}}}$

También es una métrica.

A veces resulta útil expresar la información mutua de dos variables aleatorias condicionada a una tercera.

${\displaystyle \operatorname {I} (X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]}$

Para variables aleatorias discretas conjuntas , esto toma la forma

${\displaystyle \operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},}$

que se puede simplificar como

${\displaystyle \operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

Para variables aleatorias continuas conjuntas , esto toma la forma

${\displaystyle \operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]}dxdydz,}$

que se puede simplificar como

${\displaystyle \operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}dxdydz.}$

Condicionar a una tercera variable aleatoria puede aumentar o disminuir la información mutua, pero siempre es cierto que

${\displaystyle \operatorname {I} (X;Y|Z)\geq 0}$

para variables aleatorias discretas y distribuidas conjuntamente${\displaystyle X,Y,Z}$Este resultado se ha utilizado como un elemento básico para demostrar otras desigualdades en la teoría de la información .

Se han propuesto varias generalizaciones de la información mutua a más de dos variables aleatorias, como la correlación total (o multiinformación) y la correlación total dual . La expresión y el estudio de la información mutua multivariada de grado superior se lograron en dos trabajos aparentemente independientes: McGill (1954) ^{[ 12 ]} , quien denominó a estas funciones " información de interacción ", y Hu Kuo Ting (1962). ^{[ 13 ]} La información de interacción se define para una variable de la siguiente manera:

${\displaystyle \operatorname {I} (X_{1})=\mathrm {H} (X_{1})}$

y para${\displaystyle n>1,}$

${\displaystyle \operatorname {I} (X_{1};\,...\,;X_{n})=\operatorname {I} (X_{1};\,...\,;X_{n-1})-\operatorname {I} (X_{1};\,...\,;X_{n-1}\mid X_{n}),}$

donde (como se indicó anteriormente) definimos

${\displaystyle \operatorname {I} (X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\bigl [}\operatorname {I} (X_{1};\,...\,;X_{n-1})|X_{n}{\bigr ]}.}$

Algunos autores invierten el orden de los términos del lado derecho de la ecuación anterior, lo que cambia el signo cuando el número de variables aleatorias es impar. (En este caso, la expresión de una sola variable se convierte en el negativo de la entropía).

La información de interacción puede ser positiva, negativa o cero. ^{[ 13 ]} La positividad corresponde a relaciones que generalizan las correlaciones por pares, la nulidad corresponde a una noción refinada de independencia y la negatividad detecta relaciones "emergentes" de alta dimensión y puntos de datos agrupados ^{[ 14 ]} ).

Información dirigida ,${\displaystyle \operatorname {I} \left(X^{n}\to Y^{n}\right)}$mide la cantidad de información que fluye del proceso${\displaystyle X^{n}}$a${\displaystyle Y^{n}}$, dónde${\displaystyle X^{n}}$denota el vector${\displaystyle X_{1},X_{2},...,X_{n}}$y${\displaystyle Y^{n}}$denota${\displaystyle Y_{1},Y_{2},...,Y_{n}}$El término información dirigida fue acuñado por James Massey y se define como

${\displaystyle \operatorname {I} \left(X^{n}\to Y^{n}\right)=\sum _{i=1}^{n}\operatorname {I} \left(X^{i};Y_{i}\mid Y^{i-1}\right)}$.

Tenga en cuenta que si${\displaystyle n=1}$La información dirigida se convierte en información mutua. La información dirigida tiene muchas aplicaciones en problemas donde la causalidad juega un papel importante, como la capacidad de un canal con retroalimentación. ^{[ 22 ] [ 23 ]}

Las variantes normalizadas de la información mutua se proporcionan mediante los coeficientes de restricción , ^{[ 24 ]} coeficiente de incertidumbre ^{[ 25 ]} o competencia: ^{[ 26 ]}

${\displaystyle C_{XY}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (Y)}}~~~~{\mbox{and}}~~~~C_{YX}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)}}.}$

Los dos coeficientes tienen un valor comprendido entre [0, 1], pero no son necesariamente iguales. Esta medida no es simétrica. Si se desea una medida simétrica, se puede considerar la siguiente medida de redundancia :

${\displaystyle R={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

que alcanza un mínimo de cero cuando las variables son independientes y un valor máximo de

${\displaystyle R_{\max }={\frac {\min \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

Cuando una variable se vuelve completamente redundante con el conocimiento de la otra. Véase también Redundancia (teoría de la información) .

Otra medida simétrica es la incertidumbre simétrica ( Witten y Frank 2005 ) , dada por

${\displaystyle U(X,Y)=2R=2{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

que representa la media armónica de los dos coeficientes de incertidumbre${\displaystyle C_{XY},C_{YX}}$. ^{[ 25 ]}

Si consideramos la información mutua como un caso especial de la correlación total o correlación total dual , las versiones normalizadas son respectivamente,

${\displaystyle {\frac {\operatorname {I} (X;Y)}{\min \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}}}$y${\displaystyle {\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}\;.}$

Esta versión normalizada también se conoce como Índice de Calidad de la Información (IQR) y cuantifica la cantidad de información de una variable basada en otra variable frente a la incertidumbre total: ^{[ 27 ]}

${\displaystyle IQR(X,Y)=\operatorname {E} [\operatorname {I} (X;Y)]={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}={\frac {\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x)p(y)}}{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x,y)}}}-1}$

Existe una normalización ^{[ 28 ]} que se deriva de pensar primero en la información mutua como un análogo de la covarianza (por lo tanto, la entropía de Shannon es análoga a la varianza ). Luego, la información mutua normalizada se calcula de manera similar al coeficiente de correlación de Pearson .

${\displaystyle {\frac {\operatorname {I} (X;Y)}{\sqrt {\mathrm {H} (X)\mathrm {H} (Y)}}}\;.}$

Una normalización ingenua puede conducir a una interpretación sesgada e introducir dependencias espurias. ^{[ 29 ]}

En la formulación tradicional de la información mutua,

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

cada evento u objeto especificado por${\displaystyle (x,y)}$está ponderado por la probabilidad correspondiente${\displaystyle p(x,y)}$Esto presupone que todos los objetos o eventos son equivalentes, salvo por su probabilidad de ocurrencia. Sin embargo, en algunas aplicaciones, ciertos objetos o eventos pueden ser más significativos que otros, o ciertos patrones de asociación pueden tener mayor importancia semántica que otros.

Por ejemplo, el mapeo determinista${\displaystyle \{(1,1),(2,2),(3,3)\}}$puede considerarse más fuerte que el mapeo determinista${\displaystyle \{(1,3),(2,1),(3,2)\}}$, aunque estas relaciones producirían la misma información mutua. Esto se debe a que la información mutua no es sensible en absoluto a ningún orden inherente en los valores de las variables ( Cronbach 1954 , Coombs, Dawes y Tversky 1970 , Lockhead 1970 ), y por lo tanto no es sensible en absoluto a la forma del mapeo relacional entre las variables asociadas. Si se desea que la primera relación —que muestra acuerdo en todos los valores de las variables— se juzgue más fuerte que la segunda relación, entonces es posible utilizar la siguiente información mutua ponderada ( Guiasu 1977 ) .

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

lo que pone peso${\displaystyle w(x,y)}$sobre la probabilidad de coocurrencia de cada valor de variable,${\displaystyle p(x,y)}$Esto permite que ciertas probabilidades tengan mayor o menor importancia que otras, lo que permite cuantificar factores holísticos o de Prägnanz relevantes . En el ejemplo anterior, se utilizan pesos relativos mayores para${\displaystyle w(1,1)}$,${\displaystyle w(2,2)}$, y${\displaystyle w(3,3)}$tendría el efecto de evaluar una mayor capacidad informativa para la relación ${\displaystyle \{(1,1),(2,2),(3,3)\}}$que para la relación${\displaystyle \{(1,3),(2,1),(3,2)\}}$, lo cual puede ser deseable en algunos casos de reconocimiento de patrones y similares. Esta información mutua ponderada es una forma de divergencia KL ponderada, que se sabe que toma valores negativos para algunas entradas, ^{[ 30 ]} y hay ejemplos donde la información mutua ponderada también toma valores negativos. ^{[ 31 ]}

Una distribución de probabilidad puede considerarse como una partición de un conjunto . Cabe preguntarse entonces: si un conjunto se particionara aleatoriamente, ¿cuál sería la distribución de probabilidades? ¿Cuál sería el valor esperado de la información mutua? La información mutua ajustada (IMA) resta el valor esperado de la información mutua (IM), de modo que la IMA es cero cuando dos distribuciones diferentes son aleatorias y uno cuando dos distribuciones son idénticas. La IMA se define por analogía con el índice de Rand ajustado de dos particiones diferentes de un conjunto.

Utilizando las ideas de la complejidad de Kolmogorov , se puede considerar la información mutua de dos secuencias independientemente de cualquier distribución de probabilidad:

${\displaystyle \operatorname {I} _{K}(X;Y)=K(X)-K(X\mid Y).}$

Para establecer que esta cantidad es simétrica salvo un término logarítmico aditivo (${\displaystyle \operatorname {I} _{K}(X;Y)\approx \operatorname {I} _{K}(Y;X)}$), se requiere la regla de la cadena para la complejidad de Kolmogorov ( Li y Vitányi 1997 ) . Las aproximaciones de esta cantidad a través de la compresión se pueden usar para definir una medida de distancia para realizar una agrupación jerárquica de secuencias sin tener ningún conocimiento del dominio de las secuencias ( Cilibrasi y Vitányi 2005 ) .

A diferencia de los coeficientes de correlación, como el coeficiente de correlación del momento del producto , la información mutua contiene información sobre toda la dependencia (lineal y no lineal) y no solo la dependencia lineal como lo mide el coeficiente de correlación. Sin embargo, en el caso restringido de que la distribución conjunta para${\displaystyle X}$y${\displaystyle Y}$es una distribución normal bivariada (lo que implica en particular que ambas distribuciones marginales están distribuidas normalmente), existe una relación exacta entre${\displaystyle \operatorname {I} }$y el coeficiente de correlación${\displaystyle \rho }$( Gel'fand y Yaglom 1957 ) .

${\displaystyle \operatorname {I} =-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)}$

La ecuación anterior se puede derivar de la siguiente manera para una gaussiana bivariada:

${\displaystyle {\begin{aligned}{\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}&\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \right),\qquad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\right)={\frac {1}{2}}+{\frac {1}{2}}\log(2\pi )+\log \left(\sigma _{i}\right),\quad i\in \{1,2\}\\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\right]=1+\log(2\pi )+\log \left(\sigma _{1}\sigma _{2}\right)+{\frac {1}{2}}\log \left(1-\rho ^{2}\right)\\\end{aligned}}}$

Por lo tanto,

${\displaystyle \operatorname {I} \left(X_{1};X_{2}\right)=\mathrm {H} \left(X_{1}\right)+\mathrm {H} \left(X_{2}\right)-\mathrm {H} \left(X_{1},X_{2}\right)=-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)}$

Cuando${\displaystyle X}$y${\displaystyle Y}$ están limitados a estar en un número discreto de estados, los datos de observación se resumen en una tabla de contingencia , con variable de fila${\displaystyle X}$(o${\displaystyle i}$) y variable de columna${\displaystyle Y}$(o${\displaystyle j}$La información mutua es una de las medidas de asociación o correlación entre las variables de fila y columna.

Otras medidas de asociación incluyen las estadísticas de la prueba chi-cuadrado de Pearson , las estadísticas de la prueba G , etc. De hecho, con la misma base logarítmica, la información mutua será igual a la estadística de verosimilitud logarítmica de la prueba G dividida por${\displaystyle 2N}$, dónde${\displaystyle N}$es el tamaño de la muestra.