Información dependiente del estado

En teoría de la información , la información dependiente del estado es el nombre genérico que se le da a la familia de medidas dependientes del estado que, en promedio, convergen a la información mutua .

La información dependiente del estado aparece con frecuencia en las aplicaciones de la neurociencia.

Dejar${\displaystyle X}$y${\displaystyle Y}$sean variables aleatorias y${\displaystyle y}$ser un estado dentro${\displaystyle Y}$. La información dependiente del estado entre una variable aleatoria${\displaystyle X}$y un estado${\displaystyle Y=y}$se escribe como${\displaystyle I(X;Y=y)}$Actualmente se conocen tres variedades de información dependiente del estado: sorpresa específica, información específica e información específica del estado.

La sorpresa específica,${\displaystyle \mathrm {I_ {ss}}}$, se define por una divergencia de Kullback-Leibler ,

${\displaystyle \mathrm {I_{ss}} (X;Y=y)\equiv \mathrm {D_{KL}} [P_{X|y}\parallel P_{X}]}$.

Como caso especial de la regla de la cadena para las divergencias de Kullback-Liebler, la sorpresa específica sigue la regla de la cadena para las variables.${\displaystyle Z}$como variable aleatoria, esto es específicamente,

${\displaystyle \mathrm {I_{ss}} (XZ;Y=y)=\mathrm {I_{ss}} (X;Y=y)+\mathrm {I_{ss}} (Z;Y=y|X)}$.

Intuitivamente, la sorpresa específica se piensa como "¿cuánto cambiaron mis creencias sobre...${\displaystyle X}$cambio al enterarse de que${\displaystyle Y=y}$”? Que es cero cuando no hay cambio. Es no negativo. La sorpresa específica también se ha llamado “sorpresa bayesiana”.

La información específica,${\displaystyle \mathrm {I_ {si}}}$, se define por una diferencia de entropías,

${\displaystyle \mathrm {I_{si}} (X;Y=y)\equiv \mathrm {H} (X)-\mathrm {H} (X|Y=y)}$.

La información específica sigue la regla de la cadena para los estados. Usando un estado${\displaystyle z\in Z}$como un estado de variable aleatoria${\displaystyle Z}$, esto es específicamente,

${\displaystyle \mathrm {I_{si}} (X;YZ=yz)=\mathrm {I_{si}} (X;Y=y)+\mathrm {I_{si}} (X;Z=z|Y=y)}$.

La información específica se interpreta como "¿cómo influyó la incertidumbre sobre...${\displaystyle X}$cambio al aprender${\displaystyle Y=y}$?" Esto puede ser positivo o negativo. Cuando${\displaystyle X}$sigue una distribución uniforme, la${\displaystyle \mathrm {I_ {ss}}}$y${\displaystyle \mathrm {I_ {si}}}$son equivalentes.

La información específica del estado,${\displaystyle \mathrm {I_ {ssi}}}$, es un sinónimo de la información mutua puntual .

• Timme, Nicholas; Lapish, Christopher (2018). "Un tutorial sobre la teoría de la información en neurociencia" . eNeuro . 5 (3). doi : 10.1523/ENEURO.0052-18.2018 . PMC 6131830 . 
• Deweese, Michael; Meister, Markus (1999). "Cómo medir la información obtenida de un símbolo". Network: Computation in Neural Systems . 10 (4): 325– 40. CiteSeerX 10.1.1.553.8013 . doi : 10.1088/0954-898X/10/4/303 . PMID 10695762 .  
• Butts, Daniel (2003). "¿Cuánta información está asociada con un estímulo particular?". Network: Computation in Neural Systems . 14 (2): 177– 87. doi : 10.1088/0954-898X/14/2/301 . PMID 12790180 . 
• Itti, Laurent; Baldi, Pierre (2009). "La sorpresa bayesiana atrae la atención humana" . Vision Research . 49 (10): 1295– 1306. doi : 10.1016/j.visres.2008.09.007 . PMC 2782645 .