Información mutua puntual

En estadística , teoría de la probabilidad y teoría de la información , la información mutua puntual ( PMI ), ^{[ 1 ]} o información mutua de punto , es una medida de asociación . Compara la probabilidad de que dos eventos ocurran juntos con la probabilidad que tendrían si los eventos fueran independientes . ^{[ 2 ]}

PMI (especialmente en su variante de información mutua puntual positiva ) se ha descrito como "uno de los conceptos más importantes en PLN ", donde "se basa en la intuición de que la mejor manera de sopesar la asociación entre dos palabras es preguntarse con qué frecuencia coocurren las dos palabras en un corpus de lo que hubiéramos esperado que aparecieran por casualidad". ^{[ 2 ]}

El concepto fue introducido en 1961 por Robert Fano bajo el nombre de "información mutua", pero hoy en día ese término se utiliza en cambio para una medida relacionada de dependencia entre variables aleatorias: ^{[ 2 ]} La información mutua (IM) de dos variables aleatorias discretas se refiere al promedio de la IPM de todos los eventos posibles.

El PMI de un par de resultados x e y pertenecientes a variables aleatorias discretas X e Y cuantifica la discrepancia entre la probabilidad de su coincidencia dada su distribución conjunta y sus distribuciones individuales, asumiendo independencia . Matemáticamente: ^{[ 2 ]}

${\displaystyle \operatorname {pmi} (x;y)\equiv \log _{2}{\frac {p(x,y)}{p(x)p(y)}}=\log _{2}{\frac {p(x|y)}{p(x)}}=\log _{2}{\frac {p(y|x)}{p(y)}}}$

(donde las dos últimas expresiones son iguales a la primera según el teorema de Bayes ). La información mutua (IM) de las variables aleatorias X e Y es el valor esperado de la IPM (sobre todos los resultados posibles).

La medida es simétrica (${\displaystyle \operatorname {pmi} (x;y)=\operatorname {pmi} (y;x)}$). Puede tomar valores positivos o negativos, pero es cero si X e Y son independientes . Tenga en cuenta que, aunque el PMI puede ser negativo o positivo, su resultado esperado sobre todos los eventos conjuntos (MI) no es negativo. El PMI se maximiza cuando X e Y están perfectamente asociados (es decir,${\displaystyle p(x|y)}$o${\displaystyle p(y|x)=1}$), lo que da como resultado los siguientes límites:

${\displaystyle -\infty \leq \operatorname {pmi} (x;y)\leq \min \left[-\log p(x),-\log p(y)\right].}$

Finalmente,${\displaystyle \operatorname {pmi} (x;y)}$aumentará si${\displaystyle p(x|y)}$está arreglado pero${\displaystyle p(x)}$disminuye.

Aquí hay un ejemplo para ilustrarlo:

Utilizando esta tabla podemos marginalizar para obtener la siguiente tabla adicional para las distribuciones individuales:

Con este ejemplo, podemos calcular cuatro valores para${\displaystyle \operatorname {pmi} (x;y)}$. Usando logaritmos en base 2:

(Para referencia, la información mutua)${\displaystyle \operatorname {I} (X;Y)}$sería entonces 0,2141709.)

La información mutua puntual tiene muchas de las mismas relaciones que la información mutua. En particular,

${\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)&=&h(x)+h(y)-h(x,y)\\&=&h(x)-h(x\mid y)\\&=&h(y)-h(y\mid x)\end{aligned}}}$

Dónde${\displaystyle h(x)}$es la autoinformación , o${\displaystyle -\log _{2}p(x)}$.

Se han propuesto varias variaciones del PMI, en particular para abordar lo que se ha descrito como sus "dos limitaciones principales": ^{[ 3 ]}

1. El PMI puede tomar valores tanto positivos como negativos y no tiene límites fijos, lo que dificulta su interpretación. ^{[ 3 ]}
2. PMI tiene "una tendencia bien conocida a dar puntuaciones más altas a eventos de baja frecuencia", pero en aplicaciones como la medición de la similitud de palabras, es preferible tener "una puntuación más alta para pares de palabras cuya relación está respaldada por más evidencia". ^{[ 3 ]}

Al igual que la información mutua , ^{[ 7 ]} la información mutua puntual sigue la regla de la cadena , es decir,

${\displaystyle \operatorname {pmi} (x;yz)=\operatorname {pmi} (x;y)+\operatorname {pmi} (x;z|y)}$

Esto se demuestra mediante la aplicación del teorema de Bayes :

${\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)+\operatorname {pmi} (x;z|y)&{}=\log {\frac {p(x,y)}{p(x)p(y)}}+\log {\frac {p(x,z|y)}{p(x|y)p(z|y)}}\\&{}=\log \left[{\frac {p(x,y)}{p(x)p(y)}}{\frac {p(x,z|y)}{p(x|y)p(z|y)}}\right]\\&{}=\log {\frac {p(x|y)p(y)p(x,z|y)}{p(x)p(y)p(x|y)p(z|y)}}\\&{}=\log {\frac {p(x,yz)}{p(x)p(yz)}}\\&{}=\operatorname {pmi} (x;yz)\end{aligned}}}$

PMI podría utilizarse en diversas disciplinas, por ejemplo, en teoría de la información, lingüística o química (en la elaboración de perfiles y análisis de compuestos químicos). ^{[ 8 ]} En lingüística computacional , PMI se ha utilizado para encontrar colocaciones y asociaciones entre palabras. Por ejemplo, los recuentos de ocurrencias y coocurrencias de palabras en un corpus de texto pueden utilizarse para aproximar las probabilidades.${\displaystyle p(x)}$y${\displaystyle p(x,y)}$respectivamente. La siguiente tabla muestra el número de pares de palabras con las puntuaciones PMI más altas y más bajas en los primeros 50 millones de palabras de Wikipedia (datos de octubre de 2015), filtrando por 1000 o más coocurrencias. La frecuencia de cada recuento se obtiene dividiendo su valor entre 50 000 952. (Nota: en este ejemplo se utiliza el logaritmo natural para calcular los valores PMI, en lugar del logaritmo en base 2).

Los pares de palabras bien colocadas tienen un PMI alto porque la probabilidad de coocurrencia es solo ligeramente inferior a la probabilidad de ocurrencia de cada palabra por separado. Por el contrario, un par de palabras cuyas probabilidades de ocurrencia son considerablemente mayores que su probabilidad de coocurrencia obtiene un PMI bajo.

• Fano, RM (1961). «Capítulo 2». Transmisión de información: Una teoría estadística de las comunicaciones . MIT Press, Cambridge, MA. ISBN 978-0262561693.{{cite book}}: Incompatibilidad de ISBN/Fecha ( ayuda )

• Información dependiente del estado

• Demostración en el servidor MSR de Rensselaer (valores PMI normalizados entre 0 y 1).