Teorema de Shannon-Hartley

En 1927, Nyquist determinó que el número de pulsos independientes que se podían enviar a través de un canal telegráfico por unidad de tiempo está limitado al doble del ancho de banda unilateral del canal. En notación simbólica,

${\displaystyle f_{p}\leq 2B}$

dónde${\displaystyle f_{p}}$es la frecuencia de pulso (en pulsos por segundo) y${\displaystyle B}$es el ancho de banda unilateral (en hercios). La cantidad${\displaystyle 2B}$más tarde se la conoció como la tasa de Nyquist y la transmisión a la tasa de pulso límite de${\displaystyle 2B}$pulsos por segundo como señalización a la frecuencia de Nyquist . Nyquist publicó sus resultados en 1928 como parte de su artículo "Ciertos temas en la teoría de la transmisión telegráfica". ^{[ 1 ]}

En 1928, Hartley formuló un método para cuantificar la información y su velocidad de línea (también conocida como tasa de señalización de datos R bits por segundo). ^{[ 2 ]} Este método, posteriormente conocido como la ley de Hartley, se convirtió en un importante precursor de la noción más sofisticada de capacidad del canal de Shannon.

Hartley argumentó que el número máximo de niveles de pulso distinguibles que se pueden transmitir y recibir de forma fiable a través de un canal de comunicaciones está limitado por el rango dinámico de la amplitud de la señal y la precisión con la que el receptor puede distinguir los niveles de amplitud. Específicamente, si la amplitud de la señal transmitida está restringida al rango de [− A ... + A ] voltios, y la precisión del receptor es de ±Δ V voltios, entonces el número máximo de pulsos distintos M viene dado por

${\displaystyle M=1+{A \sobre \Delta V}}$.

Tomando la información por pulso en bit/pulso como el logaritmo en base 2 del número de mensajes distintos M que podrían enviarse, Hartley ^{[ 3 ]} construyó una medida de la velocidad de línea R como:

${\displaystyle R=f_{p}\log _{2}(M),}$

dónde${\displaystyle f_{p}}$es la frecuencia de pulso, también conocida como tasa de símbolos , en símbolos/segundo o baudios .

Hartley combinó entonces la cuantificación anterior con la observación de Nyquist de que el número de pulsos independientes que podían pasar a través de un canal de ancho de banda unilateral${\displaystyle B}$Hertz era${\displaystyle 2B}$pulsos por segundo, para llegar a su medida cuantitativa de la velocidad de línea alcanzable.

La ley de Hartley a veces se cita simplemente como una proporcionalidad entre el ancho de banda analógico ,${\displaystyle B}$, en Hertz y lo que hoy se denomina ancho de banda digital ,${\displaystyle R}$, en bit/s. ^{[ 4 ]} Otras veces se cita en esta forma más cuantitativa, como una velocidad de línea alcanzable de${\displaystyle R}$bits por segundo: ^{[ 5 ]}

${\displaystyle R\leq 2B\log _{2}(M).}$

Hartley no determinó exactamente cómo el número M debería depender de las estadísticas de ruido del canal, ni cómo se podría hacer que la comunicación fuera confiable incluso cuando los pulsos de símbolos individuales no se pudieran distinguir de manera confiable a niveles M ; con estadísticas de ruido gaussiano, los diseñadores de sistemas tuvieron que elegir un valor muy conservador de${\displaystyle M}$para lograr una baja tasa de error.

El concepto de capacidad libre de errores ya estaba presente en Claude Shannon, quien se basó en las observaciones de Hartley sobre una medida logarítmica de la información y en las observaciones de Nyquist sobre el efecto de las limitaciones del ancho de banda.

El resultado de la tasa de Hartley puede verse como la capacidad de un canal M -ario sin errores de${\displaystyle 2B}$símbolos por segundo. Algunos autores se refieren a ello como una capacidad. Pero un canal sin errores de este tipo es una idealización, y si M se elige lo suficientemente pequeño como para que el canal ruidoso sea casi libre de errores, el resultado es necesariamente menor que la capacidad de Shannon del canal ruidoso de ancho de banda${\displaystyle B}$, que es el resultado de Hartley-Shannon que se obtuvo posteriormente.

El desarrollo de la teoría de la información por parte de Claude Shannon durante la Segunda Guerra Mundial supuso un gran avance para comprender cuánta información podía comunicarse de forma fiable a través de canales ruidosos. Partiendo de los fundamentos de Hartley, el teorema de codificación de canales ruidosos de Shannon (1948) describe la máxima eficiencia posible de los métodos de corrección de errores frente a los niveles de interferencia de ruido y corrupción de datos. ^{[ 6 ] [ 7 ]} La demostración del teorema muestra que un código de corrección de errores construido aleatoriamente es esencialmente tan bueno como el mejor código posible; el teorema se demuestra mediante la estadística de dichos códigos aleatorios.

El teorema de Shannon muestra cómo calcular la capacidad de un canal a partir de una descripción estadística del mismo, y establece que dado un canal ruidoso con capacidad${\displaystyle C}$y la información transmitida a una velocidad de línea${\displaystyle R}$, entonces si

${\displaystyle R<C}$

Existe una técnica de codificación que permite que la probabilidad de error en el receptor sea arbitrariamente pequeña. Esto significa que, teóricamente, es posible transmitir información casi sin errores hasta un límite cercano a${\displaystyle C}$bits por segundo.

Lo contrario también es importante. Si

${\displaystyle R>C}$

La probabilidad de error en el receptor aumenta indefinidamente al incrementarse la velocidad, por lo que no se puede transmitir información útil más allá de la capacidad del canal. El teorema no contempla la rara situación en la que la velocidad y la capacidad son iguales.

El teorema de Shannon-Hartley establece la capacidad de un canal continuo de ancho de banda finito sujeto a ruido gaussiano. Conecta el resultado de Hartley con el teorema de capacidad de canal de Shannon de una forma equivalente a especificar la M en la fórmula de velocidad de línea de Hartley en términos de una relación señal-ruido, pero logrando confiabilidad mediante codificación de corrección de errores en lugar de mediante niveles de pulso distinguibles de forma confiable.

Si existiera un canal analógico libre de ruido, se podría transmitir una cantidad ilimitada de datos sin errores por unidad de tiempo (cabe destacar que un canal analógico de ancho de banda infinito no podría transmitir una cantidad ilimitada de datos sin errores sin una potencia de señal infinita). Sin embargo, los canales reales están sujetos a limitaciones impuestas tanto por el ancho de banda finito como por el ruido no nulo.

El ancho de banda y el ruido afectan la velocidad a la que se puede transmitir información a través de un canal analógico. Las limitaciones de ancho de banda por sí solas no imponen un límite a la velocidad máxima de información, ya que la señal aún puede adoptar un número indefinido de niveles de voltaje diferentes en cada pulso de símbolo, asignándose a cada nivel ligeramente distinto un significado o secuencia de bits diferente. Sin embargo, teniendo en cuenta tanto el ruido como las limitaciones de ancho de banda, existe un límite a la cantidad de información que puede transferir una señal de potencia limitada, incluso cuando se utilizan técnicas sofisticadas de codificación multinivel.

En el canal considerado por el teorema de Shannon-Hartley, el ruido y la señal se combinan mediante una suma. Es decir, el receptor mide una señal que es igual a la suma de la señal que codifica la información deseada y una variable aleatoria continua que representa el ruido. Esta suma genera incertidumbre respecto al valor de la señal original. Si el receptor dispone de información sobre el proceso aleatorio que genera el ruido, en principio se puede recuperar la información de la señal original considerando todos los estados posibles del proceso de ruido. En el caso del teorema de Shannon-Hartley, se supone que el ruido es generado por un proceso gaussiano con una varianza conocida. Dado que la varianza de un proceso gaussiano es equivalente a su potencia, es convencional denominar a esta varianza potencia del ruido.

Dicho canal se denomina canal de ruido gaussiano blanco aditivo, ya que se añade ruido gaussiano a la señal; "blanco" significa que el ruido se presenta en cantidades iguales en todas las frecuencias dentro del ancho de banda del canal. Este ruido puede provenir tanto de fuentes de energía aleatorias como de errores de codificación y medición en el emisor y el receptor, respectivamente. Dado que las sumas de variables aleatorias gaussianas independientes son también variables aleatorias gaussianas, esto simplifica considerablemente el análisis, si se supone que dichas fuentes de error también son gaussianas e independientes.

Comparando la capacidad del canal con la tasa de información de la ley de Hartley, podemos encontrar el número efectivo de niveles distinguibles M : ^{[ 8 ]}

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

La raíz cuadrada convierte eficazmente la relación de potencia en una relación de voltaje, por lo que el número de niveles es aproximadamente proporcional a la relación entre la amplitud RMS de la señal y la desviación estándar del ruido.

Esta similitud en la forma entre la capacidad de Shannon y la ley de Hartley no debe interpretarse como que significa que${\displaystyle M}$Los niveles de pulso se pueden enviar literalmente sin ninguna confusión. Se necesitan más niveles para permitir la codificación redundante y la corrección de errores, pero la tasa de datos neta que se puede alcanzar con la codificación es equivalente a usar eso.${\displaystyle M}$en la ley de Hartley.

Cuando la relación señal/ruido es grande (${\displaystyle S/N\gg 1}$), el logaritmo se aproxima mediante

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}},}$

En este caso, la capacidad es logarítmica en potencia y aproximadamente lineal en ancho de banda (no del todo lineal, ya que N aumenta con el ancho de banda, lo que produce un efecto logarítmico). Esto se denomina régimen limitado por ancho de banda .

${\displaystyle C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)} }$

dónde

${\displaystyle \mathrm {SNR\ (en\ dB)} =10\log _{10}{S \over N}.}$

De manera similar, cuando la relación señal/ruido es pequeña (si ⁠${\displaystyle S/N\ll 1}$) , aplicando la aproximación al logaritmo:

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N};}$

Entonces la capacidad es lineal en potencia. Esto se denomina régimen de potencia limitada .

${\displaystyle C\approx 1.44\cdot B\cdot {S \over N}.}$

En esta aproximación de baja relación señal/ruido, la capacidad es independiente del ancho de banda si el ruido es blanco, de la densidad espectral.${\displaystyle N_{0}}$vatios por hercio, en cuyo caso la potencia de ruido total es${\displaystyle N=B\cdot N_{0}}$.

${\displaystyle C\approx 1.44\cdot {S \over N_{0}}}$