Desigualdad en el procesamiento de datos

La desigualdad del procesamiento de datos es un concepto de la teoría de la información que establece que el contenido informativo de una señal no puede incrementarse mediante una operación física local. Esto puede expresarse concisamente como «el posprocesamiento no puede incrementar la información». ^{[ 1 ]}

Consideremos tres variables aleatorias que forman la cadena de Markov.${\displaystyle X\rightarrow Y\rightarrow Z}$, lo que implica que la distribución condicional de${\displaystyle Z}$depende únicamente de${\displaystyle Y}$y es condicionalmente independiente de${\displaystyle X}$. Específicamente, tenemos una cadena de Markov de este tipo si la función de probabilidad conjunta se puede escribir como

${\displaystyle p(x,y,z)=p(x)p(y|x)p(z|y)=p(y)p(x|y)p(z|y)}$

En este entorno, no se procesa${\displaystyle Y}$, determinista o aleatorio, puede aumentar la información que${\displaystyle Y}$contiene sobre${\displaystyle X}$Utilizando la información mutua , esto se puede escribir como  :

${\displaystyle I(X;Y)\geqslant I(X;Z),}$

con la igualdad${\displaystyle I(X;Y)=I(X;Z)}$si y solo si${\displaystyle I(X;Y\mid Z)=0}$. Eso es,${\displaystyle Z}$y${\displaystyle Y}$contienen la misma información sobre${\displaystyle X}$, y${\displaystyle X\rightarrow Z\rightarrow Y}$También forma una cadena de Markov. ^{[ 2 ]}

Se puede aplicar la regla de la cadena para la información mutua para obtener dos descomposiciones diferentes de${\displaystyle I(X;Y,Z)}$:

${\displaystyle I(X;Z)+I(X;Y\mid Z)=I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y)}$

Por la relación${\displaystyle X\rightarrow Y\rightarrow Z}$, sabemos que${\displaystyle X}$y${\displaystyle Z}$son condicionalmente independientes, dado${\displaystyle Y}$, lo que significa la información mutua condicional ,${\displaystyle I(X;Z\mid Y)=0}$La desigualdad del procesamiento de datos se deriva entonces de la no negatividad de${\displaystyle I(X;Y\mid Z)\geq 0}$.

• Si entra basura, sale basura.

• http://www.scholarpedia.org/article/Mutual_information