Entropía (teoría de la información)

La teoría de la información es útil para calcular la cantidad mínima de información necesaria para transmitir un mensaje, como en la compresión de datos . Por ejemplo, consideremos la transmisión de secuencias compuestas por los cuatro caracteres 'A', 'B', 'C' y 'D' a través de un canal binario. Si la probabilidad de que aparezcan las cuatro letras es la misma (25%), no se puede obtener mejor resultado que utilizando dos bits para codificar cada letra. 'A' podría codificarse como '00', 'B' como '01', 'C' como '10' y 'D' como '11'. Sin embargo, si las probabilidades de cada letra son diferentes, por ejemplo, 'A' aparece con un 70% de probabilidad, 'B' con un 26%, y 'C' y 'D' con un 2% cada una, se podrían asignar códigos de longitud variable. En este caso, 'A' se codificaría como '0', 'B' como '10', 'C' como '110' y 'D' como '111'. Con esta representación, en el 70% de los casos solo se necesita enviar un bit, en el 26% dos bits y en el 4% tres bits. En promedio, se requieren menos de dos bits, ya que la entropía es menor (debido a la alta frecuencia de la secuencia 'A' seguida de 'B', que en conjunto representan el 96% de los caracteres). El cálculo de la suma de las probabilidades logarítmicas ponderadas por probabilidad mide y refleja este efecto.

El texto en inglés, tratado como una cadena de caracteres, tiene una entropía bastante baja; es decir, es bastante predecible. Podemos estar bastante seguros de que, por ejemplo, la 'e' será mucho más común que la 'z', que la combinación 'qu' será mucho más común que cualquier otra combinación que contenga una 'q', y que la combinación 'th' será más común que 'z', 'q' o 'qu'. Después de las primeras letras, a menudo se puede adivinar el resto de la palabra. El texto en inglés tiene entre 0,6 y 1,3 bits de entropía por carácter del mensaje. ^{[ 7 ] : 234}

La entropía puede definirse formalmente en el lenguaje de la teoría de la medida de la siguiente manera: ^{[ 11 ]} Sea${\displaystyle (X,\Sigma ,\mu )}$Sea un espacio de probabilidad .${\displaystyle A\in \Sigma }$ser un evento . La sorpresa de${\displaystyle A}$es $${\displaystyle \sigma _{\mu }(A)=-\ln \mu (A).}$$

La sorpresa esperada de${\displaystyle A}$es $${\displaystyle h_{\mu }(A)=\mu (A)\sigma _{\mu }(A).}$$

A${\displaystyle \mu }$-casi partición es una familia de conjuntos${\displaystyle P\subseteq {\mathcal {P}}(X)}$de tal manera que${\displaystyle \mu (\bigcup P)=1}$y${\displaystyle \mu (A\cap B)=0}$para todos los distintos${\displaystyle A,B\in P}$. (Esto es una relajación de las condiciones habituales para una partición.) La entropía de${\displaystyle P}$es $${\displaystyle \mathrm {H} _{\mu }(P)=\sum _{A\in P}h_{\mu }(A).}$$

Dejar${\displaystyle M}$ser un álgebra sigma en${\displaystyle X}$. La entropía de${\displaystyle M}$es $${\displaystyle \mathrm {H} _{\mu }(M)=\sup _ {P\subseteq M}\mathrm {H} _{\mu }(P).}$$ Finalmente, la entropía del espacio de probabilidad es${\displaystyle \mathrm {H} _ {\mu }(\Sigma )}$, es decir, la entropía con respecto a${\displaystyle \mu }$del álgebra sigma de todos los subconjuntos medibles de${\displaystyle X}$.

Otra caracterización de la entropía utiliza las siguientes propiedades. Denotamos p _i = Pr( X = x _i ) y Η _n ( p ₁ , ..., p _n ) = Η( X ) .

1. Continuidad: H debe ser continua , de modo que cambiar los valores de las probabilidades en una cantidad muy pequeña solo debería cambiar la entropía en una cantidad pequeña.
2. Simetría: H debería permanecer sin cambios si los resultados x _i se reordenan. Es decir,${\displaystyle \mathrm {H} _{n}\left(p_{1},p_{2},\ldots ,p_{n}\right)=\mathrm {H} _{n}\left(p_{i_{1}},p_{i_{2}},\ldots ,p_{i_{n}}\right)}$para cualquier permutación${\displaystyle \{i_{1},...,i_{n}\}}$de${\displaystyle \{1,...,n\}}$.
3. Máximo:${\displaystyle \mathrm {H} _{n}}$debería ser máximo si todos los resultados son igualmente probables, es decir${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})\leq \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)}$.
4. Número creciente de resultados: para eventos equiprobables, la entropía debería aumentar con el número de resultados, es decir${\displaystyle \mathrm {H} _{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}<\mathrm {H} _{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.}$
5. Aditividad: dado un conjunto de n elementos distribuidos uniformemente que se dividen en k cajas (subsistemas) con b ₁ , ..., b _k elementos cada una, la entropía de todo el conjunto debe ser igual a la suma de la entropía del sistema de cajas y las entropías individuales de las cajas, cada una ponderada con la probabilidad de estar en esa caja en particular.

Otra caracterización axiomática concisa de la entropía de Shannon fue dada por Aczél , Forte y Ng, ^{[ 15 ]} a través de las siguientes propiedades:

1. Subaditividad: ${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$ para variables aleatorias distribuidas conjuntamente${\displaystyle X,Y}$.
2. Aditividad: ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (X)+\mathrm {H} (Y)}$cuando las variables aleatorias${\displaystyle X,Y}$son independientes.
3. Expansibilidad: ${\displaystyle \mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$, es decir, agregar un resultado con probabilidad cero no cambia la entropía.
4. Simetría:${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$es invariante bajo permutación de${\displaystyle p_{1},\ldots ,p_{n}}$.
5. Pequeño para probabilidades pequeñas: ${\displaystyle \lim _{q\to 0^{+}}\mathrm {H} _{2}(1-q,q)=0}$.

La inspiración para adoptar la palabra entropía en la teoría de la información provino del gran parecido entre la fórmula de Shannon y fórmulas muy similares conocidas de la mecánica estadística .

En termodinámica estadística, la fórmula más general para la entropía termodinámica S de un sistema termodinámico es la entropía de Gibbs.$${\displaystyle S=-k_{\text{B}}\sum _{i}p_{i}\ln p_{i}\,,}$$ donde k _B es la constante de Boltzmann y p _i es la probabilidad de un microestado . La entropía de Gibbs fue definida por J. Willard Gibbs en 1878 después de un trabajo anterior de Ludwig Boltzmann (1872). ^{[ 16 ]}

La entropía de Gibbs se traslada casi sin cambios al mundo de la física cuántica para dar lugar a la entropía de von Neumann introducida por John von Neumann en 1927: $${\displaystyle S=-k_{\text{B}}\,{\rm {Tr}}(\rho \ln \rho )\,,}$$ donde ρ es la matriz de densidad del sistema mecánico cuántico y Tr es la traza . ^{[ 17 ]}

En la práctica cotidiana, la relación entre la entropía de la información y la entropía termodinámica no es evidente. Los físicos y químicos suelen estar más interesados ​​en los cambios de entropía a medida que un sistema evoluciona espontáneamente a partir de sus condiciones iniciales, de acuerdo con la segunda ley de la termodinámica , que en una distribución de probabilidad inmutable. Como indica la pequeñez de la constante de Boltzmann k _B , los cambios en S / k _B , incluso para cantidades ínfimas de sustancias en procesos químicos y físicos, representan cantidades de entropía extremadamente grandes en comparación con cualquier cosa en la compresión de datos o el procesamiento de señales . En la termodinámica clásica, la entropía se define en términos de mediciones macroscópicas y no hace referencia a ninguna distribución de probabilidad, que es fundamental para la definición de la entropía de la información.

La conexión entre la termodinámica y lo que ahora se conoce como teoría de la información fue establecida por primera vez por Boltzmann y expresada mediante su ecuación :

$${\displaystyle S=k_{\text{B}}\ln W,}$$

dónde${\displaystyle S}$es la entropía termodinámica de un macroestado particular (definido por parámetros termodinámicos como temperatura, volumen, energía, etc.), W es el número de microestados (diversas combinaciones de partículas en diversos estados de energía) que pueden producir el macroestado dado, y k _B es la constante de Boltzmann. ^{[ 18 ]} Se supone que cada microestado es igualmente probable, de modo que la probabilidad de un microestado dado es p _i = 1/ W . Cuando estas probabilidades se sustituyen en la expresión anterior para la entropía de Gibbs (o equivalentemente k _B por la entropía de Shannon), resulta la ecuación de Boltzmann. En términos de teoría de la información, la entropía de la información de un sistema es la cantidad de información "faltante" necesaria para determinar un microestado, dado el macroestado.

En la opinión de Jaynes (1957), ^{[ 19 ]} la entropía termodinámica, tal como la explica la mecánica estadística , debe verse como una aplicación de la teoría de la información de Shannon: la entropía termodinámica se interpreta como proporcional a la cantidad de información de Shannon adicional necesaria para definir el estado microscópico detallado del sistema, que permanece sin comunicar por una descripción únicamente en términos de las variables macroscópicas de la termodinámica clásica, siendo la constante de proporcionalidad simplemente la constante de Boltzmann. Agregar calor a un sistema aumenta su entropía termodinámica porque aumenta el número de posibles estados microscópicos del sistema que son consistentes con los valores medibles de sus variables macroscópicas, haciendo que cualquier descripción completa del estado sea más larga. (Véase el artículo: termodinámica de entropía máxima ). El demonio de Maxwell puede (hipotéticamente) reducir la entropía termodinámica de un sistema utilizando información sobre los estados de las moléculas individuales; Pero, como demostraron Landauer (desde 1961) y sus colaboradores ^{[ 20 ]} , para funcionar, el propio demonio debe aumentar la entropía termodinámica en el proceso, al menos en la cantidad de información de Shannon que propone adquirir y almacenar inicialmente; por lo tanto, la entropía termodinámica total no disminuye (lo que resuelve la paradoja). El principio de Landauer impone un límite inferior a la cantidad de calor que una computadora debe generar para procesar una cantidad determinada de información, aunque las computadoras modernas son mucho menos eficientes.

La definición de entropía de Shannon, cuando se aplica a una fuente de información, puede determinar la capacidad mínima del canal requerida para transmitir de forma fiable la fuente como dígitos binarios codificados. La entropía de Shannon mide la información contenida en un mensaje en contraposición a la porción del mensaje que es determinada (o predecible). Ejemplos de esto último incluyen la redundancia en la estructura del lenguaje o las propiedades estadísticas relacionadas con las frecuencias de aparición de pares de letras o palabras, tríos, etc. La capacidad mínima del canal se puede lograr en teoría utilizando el conjunto típico o en la práctica utilizando Huffman , Lempel-Ziv o codificación aritmética . (Véase también complejidad de Kolmogorov ). En la práctica, los algoritmos de compresión incluyen deliberadamente cierta redundancia juiciosa en forma de sumas de verificación para protegerse contra errores. La tasa de entropía de una fuente de datos es el número promedio de bits por símbolo necesarios para codificarlo. Los experimentos de Shannon con predictores humanos muestran una tasa de información entre 0,6 y 1,3 bits por carácter en inglés; ^{[ 21 ]} El algoritmo de compresión PPM puede lograr una relación de compresión de 1,5 bits por carácter en texto en inglés.

Si un esquema de compresión es sin pérdidas —uno en el que siempre se puede recuperar el mensaje original completo mediante la descompresión— entonces un mensaje comprimido tiene la misma cantidad de información que el original, pero se comunica en menos caracteres. Tiene más información (mayor entropía) por carácter. Un mensaje comprimido tiene menos redundancia . El teorema de codificación de fuente de Shannon establece que un esquema de compresión sin pérdidas no puede comprimir mensajes, en promedio, para que tengan más de un bit de información por bit de mensaje, pero que cualquier valor menor a un bit de información por bit de mensaje se puede lograr empleando un esquema de codificación adecuado. La entropía de un mensaje por bit multiplicada por la longitud de ese mensaje es una medida de cuánta información total contiene el mensaje. El teorema de Shannon también implica que ningún esquema de compresión sin pérdidas puede acortar todos los mensajes. Si algunos mensajes resultan más cortos, al menos uno debe resultar más largo debido al principio del palomar . En la práctica, esto generalmente no supone un problema, ya que normalmente solo interesa comprimir ciertos tipos de mensajes, como un documento en inglés, en lugar de texto sin sentido, o fotografías digitales en vez de ruido, y no importa si un algoritmo de compresión aumenta el tamaño de algunas secuencias improbables o poco interesantes.

Un estudio de 2011 publicado en Science estima la capacidad tecnológica mundial para almacenar y comunicar información comprimida de forma óptima, normalizada según los algoritmos de compresión más eficaces disponibles en el año 2007, estimando así la entropía de las fuentes tecnológicamente disponibles. ^{[ 22 ] : 60–65}

Los autores estiman la capacidad tecnológica de la humanidad para almacenar información (completamente comprimida entrópicamente) en 1986 y nuevamente en 2007. Dividen la información en tres categorías: almacenar información en un soporte, recibir información a través de redes de difusión unidireccionales o intercambiar información a través de redes de telecomunicaciones bidireccionales . ^{[ 22 ]}

La entropía es una de las diversas formas de medir la biodiversidad y se aplica en forma del índice de Shannon . ^{[ 23 ]} Un índice de diversidad es una medida estadística cuantitativa de cuántos tipos diferentes existen en un conjunto de datos, como las especies en una comunidad, teniendo en cuenta la riqueza ecológica , la uniformidad y la dominancia . Específicamente, la entropía de Shannon es el logaritmo de ¹ D , el verdadero índice de diversidad con parámetro igual a 1. El índice de Shannon está relacionado con las abundancias proporcionales de los tipos.

Existen varios conceptos relacionados con la entropía que cuantifican matemáticamente el contenido informativo de una secuencia o mensaje:

• la autoinformación de un mensaje o símbolo individual tomada de una distribución de probabilidad dada (mensaje o secuencia vista como un evento individual),
• la entropía conjunta de los símbolos que forman el mensaje o secuencia (visto como un conjunto de eventos),
• la tasa de entropía de un proceso estocástico (el mensaje o secuencia se considera una sucesión de eventos).

(La "tasa de autoinformación" también puede definirse para una secuencia particular de mensajes o símbolos generados por un proceso estocástico dado: esta siempre será igual a la tasa de entropía en el caso de un proceso estacionario ). Otras cantidades de información también se utilizan para comparar o relacionar diferentes fuentes de información.

Es importante no confundir los conceptos anteriores. A menudo, solo el contexto aclara a cuál se refiere. Por ejemplo, cuando alguien dice que la "entropía" del idioma inglés es de aproximadamente 1 bit por carácter, en realidad está modelando el idioma inglés como un proceso estocástico y hablando de su tasa de entropía . El propio Shannon utilizó el término de esta manera.

Si se utilizan bloques muy grandes, la estimación de la tasa de entropía por carácter puede resultar artificialmente baja, ya que la distribución de probabilidad de la secuencia no se conoce con exactitud; es solo una estimación. Si se considera el texto de todos los libros publicados como una secuencia, donde cada símbolo representa el texto de un libro completo, y si existen N libros publicados y cada libro se publica solo una vez, la estimación de la probabilidad de cada libro es 1/ N , y la entropía ₍ en bits) es −log₂ (1/ N ) = log₂ ₍ N ) . En la práctica, esto equivale a asignar a cada libro un identificador único y usarlo en lugar del texto del libro cuando se quiera hacer referencia a él. Esto resulta enormemente útil para hablar de libros, pero no tanto para caracterizar el contenido informativo de un libro individual o del lenguaje en general: no es posible reconstruir el libro a partir de su identificador sin conocer la distribución de probabilidad, es decir, el texto completo de todos los libros. La clave reside en considerar la complejidad del modelo probabilístico. La complejidad de Kolmogorov es una generalización teórica de esta idea que permite considerar el contenido informativo de una secuencia independientemente de cualquier modelo de probabilidad particular; considera el programa más corto para una computadora universal que genere la secuencia. Un código que alcanza la tasa de entropía de una secuencia para un modelo dado, más el diccionario de códigos (es decir, el modelo probabilístico), es uno de esos programas, pero puede que no sea el más corto.

La secuencia de Fibonacci es 1, 1, 2, 3, 5, 8, 13, .... Si tratamos la secuencia como un mensaje y cada número como un símbolo, hay casi tantos símbolos como caracteres en el mensaje, lo que da una entropía de aproximadamente log ₂ ( n ) . Los primeros 128 símbolos de la secuencia de Fibonacci tienen una entropía de aproximadamente 7 bits/símbolo, pero la secuencia se puede expresar usando una fórmula [ F( n ) = F( n −1) + F( n −2) para n = 3, 4, 5, ... , F(1) =1 , F(2) = 1 ] y esta fórmula tiene una entropía mucho menor y se aplica a cualquier longitud de la secuencia de Fibonacci.

En criptoanálisis , la entropía se usa a menudo de forma aproximada como una medida de la imprevisibilidad de una clave criptográfica, aunque su incertidumbre real es inmensurable. Por ejemplo, una clave de 128 bits que se genera de forma uniforme y aleatoria tiene 128 bits de entropía. También requiere (en promedio)${\displaystyle 2^{127}}$intentos de romper por fuerza bruta. La entropía no logra capturar el número de intentos necesarios si las claves posibles no se eligen de manera uniforme. ^{[ 24 ] [ 25 ]} En cambio, se puede usar una medida llamada adivinación para medir el esfuerzo requerido para un ataque de fuerza bruta. ^{[ 26 ]}

Pueden surgir otros problemas debido a las distribuciones no uniformes utilizadas en criptografía. Por ejemplo, una clave binaria de un solo uso de 1.000.000 de dígitos que utiliza la operación OR exclusiva. Si la clave tiene 1.000.000 de bits de entropía, es perfecta. Si tiene 999.999 bits de entropía, distribuidos uniformemente (cada bit individual tiene 0,999999 bits de entropía), puede proporcionar una buena seguridad. Pero si la clave tiene 999.999 bits de entropía, donde el primer bit es fijo y los 999.999 restantes son completamente aleatorios, el primer bit del texto cifrado no se cifrará en absoluto.

Una forma común de definir la entropía para el texto se basa en el modelo de Markov del texto. Para una fuente de orden 0 (cada carácter se selecciona independientemente de los caracteres anteriores), la entropía binaria es:

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\log p_{i},}$$

donde p _i es la probabilidad de i . Para una fuente de Markov de primer orden (una en la que la probabilidad de seleccionar un carácter depende solo del carácter inmediatamente anterior), la tasa de entropía es: ^{[ 27 ]}

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}\ p_{i}(j)\log p_{i}(j),}$$

donde i es un estado (ciertos caracteres precedentes) y${\displaystyle p_{i}(j)}$es la probabilidad de j dado i como carácter anterior.

Para una fuente de Markov de segundo orden, la tasa de entropía es

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\sum _{k}p_{i,j}(k)\ \log p_{i,j}(k).}$$

La entropía de Shannon se restringe a variables aleatorias que toman valores discretos. La fórmula correspondiente para una variable aleatoria continua con función de densidad de probabilidad f ( x ) con soporte finito o infinito${\displaystyle \mathbb {X} }$en la recta real se define por analogía, utilizando la forma anterior de la entropía como expectativa: ^{[ 10 ] : 224}

$${\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log f(X)]=-\int _{\mathbb {X} }f(x)\log f(x)\,\mathrm {d} x.}$$

Esta es la entropía diferencial (o entropía continua). Un precursor de la entropía continua h [ f ] es la expresión para el funcional H en el teorema H de Boltzmann.

Aunque la analogía entre ambas funciones es sugerente, cabe plantearse la siguiente pregunta: ¿es la entropía diferencial una extensión válida de la entropía discreta de Shannon? La entropía diferencial carece de varias propiedades que sí posee la entropía discreta de Shannon  —incluso puede ser negativa—  y se han sugerido correcciones, en particular la limitación de la densidad de puntos discretos .

Para responder a esta pregunta, debe establecerse una conexión entre las dos funciones:

Para obtener una medida generalmente finita a medida que el tamaño del intervalo tiende a cero. En el caso discreto, el tamaño del intervalo es el ancho (implícito) de cada uno de los n intervalos (finitos o infinitos) cuyas probabilidades se denotan por p _n . A medida que se generaliza el dominio continuo, el ancho debe hacerse explícito.

Para ello, comencemos con una función continua f discretizada en intervalos de tamaño${\displaystyle \Delta }$. Por el teorema del valor medio existe un valor x _i en cada intervalo tal que $${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)\,dx}$$ La integral de la función f puede aproximarse (en el sentido riemanniano) mediante $${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=\lim _{\Delta \to 0}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta ,}$$ donde este límite y "el tamaño del contenedor llega a cero" son equivalentes.

Lo denominaremos $${\displaystyle \mathrm {H} ^{\Delta }:=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log \left(f(x_{i})\Delta \right)}$$ y expandiendo el logaritmo, tenemos $${\displaystyle \mathrm {H} ^{\Delta }=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(\Delta ).}$$

Cuando Δ → 0 , tenemos

$${\displaystyle {\begin{aligned}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta &\to \int _{-\infty }^{\infty }f(x)\,dx=1\\\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))&\to \int _{-\infty }^{\infty }f(x)\log f(x)\,dx.\end{aligned}}}$$

Nota: log(Δ) → −∞ cuando Δ → 0 , requiere una definición especial de la entropía diferencial o continua:

$${\displaystyle h[f]=\lim _{\Delta \to 0}\left(\mathrm {H} ^{\Delta }+\log \Delta \right)=-\int _{-\infty }^{\infty }f(x)\log f(x)\,dx,}$$

que, como se mencionó anteriormente, se denomina entropía diferencial. Esto significa que la entropía diferencial no es un límite de la entropía de Shannon para n → ∞ . Más bien, difiere del límite de la entropía de Shannon por un desplazamiento infinito (véase también el artículo sobre la dimensión de la información ).

Resulta que, a diferencia de la entropía de Shannon, la entropía diferencial no es , en general, una buena medida de incertidumbre o información. Por ejemplo, la entropía diferencial puede ser negativa; además, no es invariante bajo transformaciones de coordenadas continuas. Este problema puede ilustrarse con un cambio de unidades cuando x es una variable adimensional. f ( x ) tendrá entonces unidades de 1/ x . El argumento del logaritmo debe ser adimensional; de lo contrario, es impropio, por lo que la entropía diferencial dada anteriormente será impropia. Si Δ es algún valor "estándar" de x (es decir, "tamaño del intervalo") y, por lo tanto, tiene las mismas unidades, entonces una entropía diferencial modificada puede escribirse en la forma adecuada como: $${\displaystyle \mathrm {H} =\int _{-\infty }^{\infty }f(x)\log(f(x)\,\Delta )\,dx,}$$ y el resultado será el mismo para cualquier elección de unidades para x . De hecho, el límite de entropía discreta como${\displaystyle N\rightarrow \infty }$también incluiría un término de${\displaystyle \log(N)}$, que en general sería infinito. Esto es previsible: las variables continuas suelen tener entropía infinita al discretizarse. La densidad límite de puntos discretos es, en realidad, una medida de cuán más fácil es describir una distribución que una distribución uniforme en su esquema de cuantización.

Otra medida útil de entropía que funciona igualmente bien en el caso discreto y continuo es la entropía relativa de una distribución. Se define como la divergencia de Kullback-Leibler de la distribución a una medida de referencia m de la siguiente manera. Supongamos que una distribución de probabilidad p es absolutamente continua con respecto a una medida m , es decir, tiene la forma p ( dx ) = f ( x ) m ( dx ) para alguna función f m -integrable no negativa con m- integral 1, entonces la entropía relativa se puede definir como $${\displaystyle D_{\mathrm {KL} }(p\|m)=\int \log(f(x))p(dx)=\int f(x)\log(f(x))m(dx).}$$

En esta forma, la entropía relativa generaliza (salvo cambio de signo) tanto la entropía discreta, donde la medida m es la medida de conteo , como la entropía diferencial, donde la medida m es la medida de Lebesgue . Si la medida m es en sí misma una distribución de probabilidad, la entropía relativa es no negativa, y cero si p = m como medidas. Está definida para cualquier espacio de medidas, por lo tanto, independiente de coordenadas e invariante bajo reparametrizaciones de coordenadas si se tiene en cuenta adecuadamente la transformación de la medida m . La entropía relativa, y (implícitamente) la entropía y la entropía diferencial, dependen de la medida de "referencia" m .

Un ejemplo sencillo de esto es una demostración alternativa de la desigualdad de Loomis-Whitney : para cada subconjunto A ⊆ Z ^d , tenemos $${\displaystyle |A|^{d-1}\leq \prod _{i=1}^{d}|P_{i}(A)|}$$ donde P _i es la proyección ortogonal en la i- ésima coordenada: $${\displaystyle P_{i}(A)=\{(x_{1},\ldots ,x_{i-1},x_{i+1},\ldots ,x_{d}):(x_{1},\ldots ,x_{d})\in A\}.}$$

La demostración se deduce como un corolario simple de la desigualdad de Shearer : si X ₁ , ..., X _d son variables aleatorias y S ₁ , ..., S _n son subconjuntos de {1, ..., d } tales que cada entero entre 1 y d se encuentra exactamente en r de estos subconjuntos, entonces $${\displaystyle \mathrm {H} [(X_{1},\ldots ,X_{d})]\leq {\frac {1}{r}}\sum _{i=1}^{n}\mathrm {H} [(X_{j})_{j\in S_{i}}]}$$ dónde${\displaystyle (X_{j})_{j\in S_{i}}}$es el producto cartesiano de variables aleatorias X _j con índices j en S _i (por lo que la dimensión de este vector es igual al tamaño de S _i ).

Esbozamos cómo se deduce Loomis-Whitney de esto: En efecto, sea X una variable aleatoria uniformemente distribuida con valores en A y de modo que cada punto en A ocurre con igual probabilidad. Entonces (por las propiedades adicionales de la entropía mencionadas anteriormente) H( X ) = log | A | , donde | A | denota la cardinalidad de A . Sea S _i = {1, 2, ..., i −1, i +1, ..., d }. El rango de${\displaystyle (X_{j})_{j\in S_{i}}}$está contenido en P _i ( A ) y por lo tanto${\displaystyle \mathrm {H} [(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|}$. Ahora usa esto para acotar el lado derecho de la desigualdad de Shearer y eleva a la potencia los lados opuestos de la desigualdad resultante que obtengas.

Para enteros 0 < k < n, sea q = k / n . Entonces $${\displaystyle {\frac {2^{n\mathrm {H} (q)}}{n+1}}\leq {\tbinom {n}{k}}\leq 2^{n\mathrm {H} (q)},}$$ donde ^{[ 33 ] : 43}$${\displaystyle \mathrm {H} (q)=-q\log _{2}(q)-(1-q)\log _{2}(1-q).}$$

Una buena interpretación de esto es que el número de cadenas binarias de longitud n con exactamente k unos es aproximadamente${\displaystyle 2^{n\mathrm {H} (k/n)}}$. ^{[ 34 ]}

• Cover, TM , Thomas, JA (2006), Elementos de la teoría de la información – 2.ª ed. , Wiley-Interscience, ISBN 978-0-471-24195-9
• MacKay, DJC (2003), Teoría de la información, inferencia y algoritmos de aprendizaje , Cambridge University Press, ISBN 978-0-521-64298-9
• Arndt, C. (2004), Medidas de información: La información y su descripción en ciencia e ingeniería , Springer, ISBN 978-3-540-40855-0
• Gray, RM (2011), Entropía y teoría de la información , Springer.
• Martin, Nathaniel FG; England, James W. (2011). Teoría matemática de la entropía . Cambridge University Press. ISBN 978-0-521-17738-2.
• Shannon, CE , Weaver, W. (1949) La teoría matemática de la comunicación , Univ of Illinois Press. ISBN 0-252-72548-4
• Stone, JV (2014), Capítulo 1 de Teoría de la Información: Una Introducción Tutorial. Archivado el 3 de junio de 2016 en Wayback Machine , Universidad de Sheffield, Inglaterra. ISBN 978-0956372857.
• Tribus, Myron (1961). Termodinámica y termostática: una introducción a la energía, la información y los estados de la materia, con aplicaciones de ingeniería . Serie universitaria en ingeniería básica, vol. 1. Princeton: D. Van Nostrand. OCLC 1036889774 .