Historia de la teoría de la información

Algunos de los métodos más antiguos de telecomunicaciones utilizaban implícitamente algunas de las ideas que Shannon formalizó posteriormente en el desarrollo de la teoría de la información. En telegrafía , a partir de la década de 1830, el código Morse consideraba la frecuencia de las letras más comunes . Así, la letra "E", que se expresa con un punto, se transmite más rápidamente que letras menos comunes como la "J", que se expresa con un punto seguido de tres rayas. La idea de codificar la información de esta manera es la piedra angular de la compresión de datos sin pérdidas . Cien años después, la modulación de frecuencia demostró que el ancho de banda puede considerarse simplemente otro grado de libertad. El vocoder , ahora considerado en gran medida una curiosidad de la ingeniería de audio, fue diseñado originalmente en 1939 para utilizar menos ancho de banda que el de un mensaje original, de forma muy similar a como los teléfonos móviles ahora sacrifican la calidad de la voz a cambio de un mayor ancho de banda.

Los antecedentes más directos del trabajo de Shannon fueron dos artículos publicados en la década de 1920 por Harry Nyquist y Ralph Hartley , quienes seguían siendo líderes de investigación en los Laboratorios Bell cuando Shannon llegó a principios de la década de 1940.

El artículo de Nyquist de 1924, "Ciertos factores que afectan la velocidad del telégrafo", se ocupa principalmente de algunos aspectos de ingeniería detallados de las señales telegráficas. Pero una sección más teórica analiza la cuantificación de la "inteligencia" y la "velocidad de línea" a la que puede ser transmitida por un sistema de comunicación, dando la relación

${\displaystyle W=K\log m\,}$

donde W es la velocidad de transmisión de la inteligencia, m es el número de niveles de voltaje diferentes para elegir en cada paso de tiempo, y K es una constante. ^{[ 1 ]}

El artículo de Hartley de 1928, titulado simplemente "Transmisión de información", fue más allá al utilizar la palabra información (en un sentido técnico) y dejar explícitamente claro que la información en este contexto era una cantidad medible, que reflejaba únicamente la capacidad del receptor para distinguir que el emisor había querido transmitir una secuencia de símbolos en lugar de cualquier otra, independientemente de cualquier significado asociado u otro aspecto psicológico o semántico que los símbolos pudieran representar. Esta cantidad de información la cuantificó como

${\displaystyle H=\log S^{n}\,}$

donde S era el número de símbolos posibles y n el número de símbolos en una transmisión. La unidad natural de información era, por lo tanto, el dígito decimal, que mucho más tarde se renombró como _hartley en su honor como unidad, escala o medida de información. La información de Hartley , H₀ , todavía se utiliza como una cantidad para el logaritmo del número total de posibilidades. ^{[ 2 ]}

Alan Turing introdujo en 1940 una unidad similar de probabilidad logarítmica base _{10 , el} ban , y su unidad derivada, el deciban (una décima parte de un ban), como parte del análisis estadístico del descifrado de los códigos Enigma alemanes de la Segunda Guerra Mundial . El decibanage representaba la reducción en (el logaritmo de) el número total de posibilidades (similar al cambio en la información de Hartley); y también la razón de verosimilitud logarítmica (o cambio en el peso de la evidencia) que se podía inferir para una hipótesis sobre otra a partir de un conjunto de observaciones. El cambio esperado en el peso de la evidencia es equivalente a lo que más tarde se denominó información de discriminación de Kullback .

Pero subyacente a esta noción seguía estando la idea de probabilidades a priori iguales, en lugar del contenido informativo de eventos de probabilidad desigual; ni ​​tampoco ninguna imagen subyacente de las cuestiones relativas a la comunicación de resultados tan variados.

En una carta de 1939 a Vannevar Bush , Shannon ya había esbozado algunas de sus ideas iniciales sobre la teoría de la información. ^{[ 3 ]}

Un área donde las probabilidades desiguales eran bien conocidas era la mecánica estadística, donde Ludwig Boltzmann , en el contexto de su teorema H de 1872, introdujo por primera vez la cantidad

${\displaystyle H=-\sum f_{i}\log f_{i}}$

como medida de la amplitud de la dispersión de estados disponibles para una sola partícula en un gas de partículas similares, donde f representaba la distribución de frecuencia relativa de cada estado posible. Boltzmann argumentó matemáticamente que el efecto de las colisiones entre las partículas haría que la función H aumentara inevitablemente desde cualquier configuración inicial hasta que se alcanzara el equilibrio; y además la identificó como una justificación microscópica subyacente para la entropía termodinámica macroscópica de Clausius .

La definición de Boltzmann fue pronto reelaborada por el físico matemático estadounidense J. Willard Gibbs en una fórmula general para la entropía estadístico-mecánica, que ya no requería partículas idénticas y no interactuantes, sino que se basaba en la distribución de probabilidad p _i para el microestado completo i del sistema total:

${\displaystyle S=-k_{\text{B}}\sum p_{i}\ln p_{i}\,}$

Se puede encontrar que esta entropía (de Gibbs), proveniente de la mecánica estadística, se corresponde directamente con la definición termodinámica clásica de Clausius .

Al parecer, Shannon no era muy consciente de la estrecha similitud entre su nueva medida y trabajos anteriores en termodinámica, pero John von Neumann sí. Se dice que, cuando Shannon decidía cómo llamar a su nueva medida y temía que el término «información» estuviera ya demasiado manido, von Neumann le dijo con firmeza: «Deberías llamarla entropía, por dos razones. En primer lugar, tu función de incertidumbre se ha utilizado en mecánica estadística con ese nombre, así que ya tiene uno. En segundo lugar, y más importante, nadie sabe realmente qué es la entropía, así que en un debate siempre tendrás ventaja».

(Las conexiones entre la entropía de la teoría de la información y la entropía termodinámica, incluidas las importantes contribuciones de Rolf Landauer en la década de 1960, se exploran con mayor detalle en el artículo " Entropía en termodinámica y teoría de la información ").