Diagrama informativo

Un diagrama de información es un tipo de diagrama de Venn utilizado en la teoría de la información para ilustrar las relaciones entre las medidas básicas de información de Shannon : entropía , entropía conjunta , entropía condicional e información mutua . ^{[ 1 ]}^{[ 2 ]} Los diagramas de información son una herramienta pedagógica útil para la enseñanza y el aprendizaje de estas medidas básicas de información. Los diagramas de información también se han aplicado a problemas específicos, como la representación de la similitud teórica de la información entre conjuntos de términos ontológicos . ^{[ 3 ]}

$Diagrama de Venn que muestra las relaciones aditivas y sustractivas entre varias medidas de información asociadas con las variables correlacionadas X e Y. El área contenida por ambos círculos es la entropía conjunta ⁠ H ( X , Y ) {\displaystyle H(X,Y)} ⁠. El círculo de la izquierda (rojo y violeta) es la entropía individual ⁠ H ( X ) {\displaystyle H(X)} ⁠, siendo el rojo la entropía condicional H ( X | Y ) {\displaystyle H(X|Y)} . El círculo de la derecha (azul y violeta) es ⁠ H ( Y ) {\displaystyle H(Y)} ⁠, siendo el azul H ( Y | X ) {\displaystyle H(Y|X)} . El violeta es la información mutua ⁠ I ( X ; Y ) {\displaystyle I(X;Y)} ⁠.$
Diagrama de Venn que muestra las relaciones aditivas y sustractivas entre varias medidas de información asociadas con las variables correlacionadas $X$ e $Y.$ El área contenida por ambos círculos es la entropía conjunta . $H(X,Y)$ El círculo de la izquierda (rojo y violeta) representa la entropía individual . $H(X)$ ⁠ , donde el rojo representa la entropía condicional $H(X|Y)$ . El círculo de la derecha (azul y violeta) es $H(Y)$ ⁠ , siendo el azul el $H(Y|X)$ . La violeta es la información mutua ⁠ $I(X;Y)$ ⁠ .
$Diagrama de Venn de medidas de teoría de la información para tres variables x, y y z. Cada círculo representa una entropía individual: H(x) es el círculo inferior izquierdo, H(y) es el inferior derecho y H(z) es el superior. La intersección de dos círculos cualesquiera representa la información mutua de las dos variables asociadas (por ejemplo, I(x;z) es amarillo y gris). La unión de dos círculos cualesquiera es la entropía conjunta de las dos variables asociadas (por ejemplo, H(x,y) es todo menos verde). La entropía conjunta ⁠ H ( x , y , z ) {\displaystyle H(x,y,z)} ⁠ de las tres variables es la unión de los tres círculos. Se divide en 7 partes, siendo rojo, azul y verde las entropías condicionales H ( x | y , z ) , H ( y | x , z ) , H ( z | x , y ) {\displaystyle H(x|y,z),H(y|x,z),H(z|x,y)} respectivamente, amarillo, magenta y cian las información mutua condicional I ( x ; z | y ) , I ( y ; z | x ) {\displaystyle I(x;z|y),I(y;z|x)} e I ( x ; y | z ) {\displaystyle I(x;y|z)} respectivamente, y gris la información de interacción ⁠ I ( x ; y ; z ) {\displaystyle I(x;y;z)} ⁠. La información de interacción es la única de todas que puede ser negativa.$
Diagrama de Venn de medidas de teoría de la información para tres variables x $, y$ y $z$ . Cada círculo representa una entropía individual : $H(x)$ es el círculo inferior izquierdo , $H(y)$ ⁠ la parte inferior derecha, y ⁠ $H(z)$ ⁠ es el círculo superior. Las intersecciones de dos círculos cualesquiera representan la información mutua para las dos variables asociadas (por ejemplo , ⁠ $I(x;z)$ ⁠ es amarillo y gris). La unión de dos círculos cualesquiera es la entropía conjunta para las dos variables asociadas (por ejemplo , ⁠ $H(x,y)$ es todo menos verde). La entropía conjunta $H(x,y,z)$ La suma de las tres variables es la unión de los tres círculos. Se divide en 7 partes, siendo rojo, azul y verde las entropías condicionales. $H(x|y,z),H(y|x,z),H(z|x,y)$ respectivamente, el amarillo, el magenta y el cian son las información mutuas condicionales. $I(x;z|y),I(y;z|x)$ y $I(x;y|z)$ respectivamente, y el gris representa la información de interacción . $I(x;y;z)$ La información sobre la interacción es la única de todas que puede ser negativa.

Referencias

↑ Fazlollah Reza. Introducción a la teoría de la información. Nueva York: McGraw-Hill, 1961. Nueva York: Dover, 1994. ISBN 0-486-68210-2
↑ RW Yeung, Un primer curso de teoría de la información. Norwell, MA/Nueva York: Kluwer/Plenum, 2002.
↑ Gardeux, Vincent; Halonen, H; Jackson, D; Martinez, FD; Lussier, YA (1 de junio de 2015). "Hacia un "ensayo de virogramas" de PBMC para la medicina de precisión: concordancia entre transcriptomas de infección viral ex vivo e in vivo" . Journal of Biomedical Informatics . 1 : 94–103 . doi : 10.1016/j.jbi.2015.03.003 . PMC 4951181. PMID 25797143 .

[1] Fazlollah Reza. Introducción a la teoría de la información. Nueva York: McGraw-Hill, 1961. Nueva York: Dover, 1994. ISBN 0-486-68210-2

[2] RW Yeung, Un primer curso de teoría de la información. Norwell, MA/Nueva York: Kluwer/Plenum, 2002.

[3] Gardeux, Vincent; Halonen, H; Jackson, D; Martinez, FD; Lussier, YA (1 de junio de 2015). "Hacia un "ensayo de virogramas" de PBMC para la medicina de precisión: concordancia entre transcriptomas de infección viral ex vivo e in vivo" . Journal of Biomedical Informatics . 1 : 94–103 . doi : 10.1016/j.jbi.2015.03.003 . PMC 4951181. PMID 25797143 .

[ 1 ]

[ 2 ]

[ 3 ]