Hispanopedia Wiki
Articulo de referencia

teoría de la información

La teoría de la información es el estudio matemático de la cuantificación , el almacenamiento y la comunicación de un tipo particular de información definida matemáticamente . E...

Hispanopedia WikiContenido en espanolLectura gratuita

La teoría de la información es el estudio matemático de la cuantificación , el almacenamiento y la comunicación de un tipo particular de información definida matemáticamente . El campo fue establecido y formalizado por Claude Shannon en la década de 1940, [ 1 ] aunque las primeras contribuciones se hicieron en la década de 1920 a través de los trabajos de Harry Nyquist y Ralph Hartley .

La teoría de la información se originó en el contexto de las telecomunicaciones, pero pronto encontró una amplia gama de otras aplicaciones. Actualmente se sitúa en la intersección de las matemáticas , la estadística y la informática , y tiene aplicaciones en diversos campos que abarcan desde la ingeniería eléctrica y la física hasta la neurobiología . [ 2 ] [ 3 ] [ 4 ]

Como ejemplo sencillo del concepto, si alguien lanza una moneda justa y aún no sabe el resultado (cara o cruz), entonces le falta cierta cantidad de información. Después de mirar la moneda, obtiene información sobre el resultado. Para una moneda justa, la probabilidad de que salga cara o cruz es 1/2 y la cantidad de información se expresa como−registro2⁡(1/2){\displaystyle -\log _{2}(1/2)}= 1 bit de información.

Un concepto clave en la teoría de la información es la entropía . En la formulación de Shannon, la entropía equivale a la falta de información sobre un evento. En el ejemplo anterior del lanzamiento de moneda, la entropía cuando se desconoce el resultado es de 1 bit. Cuando se conoce el resultado después de que la moneda ha caído, la entropía es cero porque se ha ganado un bit.

La teoría de la información se ha utilizado en una amplia gama de aplicaciones, como la codificación de fuentes/ compresión de datos (por ejemplo, para archivos ZIP ) y la codificación de canales/ detección y corrección de errores (por ejemplo, para DSL ). Su impacto ha sido crucial para el éxito de las misiones Voyager al espacio profundo, [ 5 ] la invención del disco compacto , la viabilidad de los teléfonos móviles y el desarrollo de Internet y la inteligencia artificial . [ 6 ] [ 7 ] [ 4 ] La teoría también ha encontrado aplicaciones en otras áreas, incluyendo inferencia estadística , [ 8 ] criptografía , neurobiología , [ 9 ] percepción , [ 10 ] procesamiento de señales , [ 2 ] lingüística , la evolución [ 11 ] y función [ 12 ] de códigos moleculares ( bioinformática ), física térmica , [ 3 ] [ 13 ] dinámica molecular , [ 14 ] agujeros negros , computación cuántica , recuperación de información , recopilación de inteligencia , detección de plagio , [ 15 ] reconocimiento de patrones , detección de anomalías , [ 16 ] el análisis de música , [ 17 ] [ 18 ] creación de arte , [ 19 ] diseño de sistemas de imágenes , [ 20 ] estudio del espacio exterior , [ 21 ] la dimensionalidad del espacio , [ 22 ] y epistemología . [ 23 ]

Descripción general

Information theory, as conceived by Claude Shannon, studies the processing and utilization of information within a probabilistic context. Abstractly, in this approach information can be thought of as the resolution of uncertainty. In the case of communication of information over a noisy channel, this abstract concept was formalized in 1948 by Claude Shannon in a paper entitled A Mathematical Theory of Communication, in which information is thought of as a set of possible messages, and the goal is to send these messages over a noisy channel, and to have the receiver reconstruct the message with low probability of error, in spite of the channel noise. Shannon's main result, the noisy-channel coding theorem, showed that, in the limit of many channel uses, the rate of information that is asymptotically achievable is equal to the channel capacity, a quantity dependent merely on the statistics of the channel over which the messages are sent.[9]

Coding theory is concerned with finding explicit methods, called codes, for increasing the efficiency and reducing the error rate of data communication over noisy channels to near the channel capacity. These codes can be roughly subdivided into data compression (source coding) and error-correction (channel coding) techniques. In the latter case, it took many years to find the methods Shannon's work proved were possible.[24][25]

A third class of information theory codes are cryptographic algorithms (both codes and ciphers). Concepts, methods and results from coding theory and information theory are widely used in cryptography and cryptanalysis,[26] such as the unit ban.

Historical background

El hito que estableció la disciplina de la teoría de la información y la atrajo de inmediato a la atención mundial fue la publicación del artículo clásico de Claude Shannon, "Una teoría matemática de la comunicación", en el Bell System Technical Journal en julio y octubre de 1948. El historiador James Gleick consideró el artículo como el desarrollo más importante de 1948, señalando que era "aún más profundo y fundamental" que el transistor . [ 27 ] Llegó a ser conocido como el "padre de la teoría de la información". [ 28 ] [ 29 ] [ 30 ] Shannon esbozó algunas de sus ideas iniciales sobre la teoría de la información ya en 1939 en una carta a Vannevar Bush . [ 30 ]

Antes de este artículo, en Bell Labs se habían desarrollado ideas limitadas sobre la teoría de la información , todas asumiendo implícitamente eventos de igual probabilidad. El artículo de Harry Nyquist de 1924, " Ciertos factores que afectan la velocidad del telégrafo ", contiene una sección teórica que cuantifica la "inteligencia" y la "velocidad de línea" a la que puede ser transmitida por un sistema de comunicación, dando la relación W = K log m (recordando la constante de Boltzmann ), donde W es la velocidad de transmisión de la inteligencia, m es el número de diferentes niveles de voltaje para elegir en cada paso de tiempo, y K es una constante. El artículo de Ralph Hartley de 1928, " Transmisión de información" , utiliza la palabra información como una cantidad medible, que refleja la capacidad del receptor para distinguir una secuencia de símbolos de cualquier otra, cuantificando así la información como H = log S n = n log S , donde S era el número de símbolos posibles, y n el número de símbolos en una transmisión. La unidad de información era, por lo tanto, el dígito decimal , que desde entonces a veces se ha denominado hartley en su honor como unidad, escala o medida de información. Alan Turing, en 1940, utilizó ideas similares como parte del análisis estadístico del descifrado de los códigos Enigma alemanes de la Segunda Guerra Mundial .

Gran parte de las matemáticas que sustentan la teoría de la información con eventos de diferentes probabilidades fueron desarrolladas para el campo de la termodinámica por Ludwig Boltzmann y J. Willard Gibbs . Las conexiones entre la entropía de la teoría de la información y la entropía termodinámica, incluidas las importantes contribuciones de Rolf Landauer en la década de 1960, se exploran en Entropía en termodinámica y teoría de la información . [ 31 ]

En el revolucionario e innovador artículo de Shannon, cuyo trabajo se había completado sustancialmente en Bell Labs a finales de 1944, Shannon introdujo por primera vez el modelo cualitativo y cuantitativo de la comunicación como un proceso estadístico subyacente a la teoría de la información, comenzando con la afirmación: [ 32 ]

" El problema fundamental de la comunicación consiste en reproducir en un punto, ya sea de forma exacta o aproximada, un mensaje seleccionado en otro punto. "

Con ello surgieron las ideas de:

Cantidades de información

La teoría de la información se basa en la teoría de la probabilidad y la estadística, donde la información cuantificada se suele describir en términos de bits. La teoría de la información se ocupa a menudo de las medidas de información de las distribuciones asociadas a variables aleatorias. Una de las medidas más importantes es la entropía , que constituye el elemento fundamental de muchas otras medidas. La entropía permite cuantificar la información contenida en una única variable aleatoria. [ 34 ]

Otro concepto útil es la información mutua definida sobre dos variables aleatorias, que cuantifica la dependencia entre ellas mediante la comparación de las distribuciones condicional e incondicional. [ 35 ] La primera es una propiedad de la distribución de probabilidad de una variable aleatoria y establece un límite a la velocidad a la que se pueden comprimir de forma fiable los datos generados por muestras independientes con dicha distribución. La segunda es una propiedad de la distribución conjunta de dos variables aleatorias y representa la velocidad máxima de comunicación fiable a través de un canal ruidoso en el límite de longitudes de bloque largas, cuando las estadísticas del canal están determinadas por la distribución conjunta.

La elección de la base logarítmica en las siguientes fórmulas determina la unidad de entropía de la información que se utiliza. Una unidad común de información es el bit o shannon , basado en el logaritmo binario . Otras unidades incluyen el nat , que se basa en el logaritmo natural , y el dígito decimal , que se basa en el logaritmo común .

En lo que sigue, una expresión de la forma p log p se considera por convención igual a cero siempre que p = 0. Esto se justifica porquelímitepag→0+pagregistro⁡pag=0{\displaystyle \lim _{p\rightarrow 0^{+}}p\log p=0}para cualquier base logarítmica.

Entropía de una fuente de información

Basándose en la función de masa de probabilidad de una fuente, la entropía de Shannon H , en unidades de bits por símbolo, se define como el valor esperado del contenido de información de los símbolos. [ 36 ] [ 37 ]

La cantidad de información transmitida por un símbolo fuente individualincógnitai{\displaystyle x_{i}}con probabilidadpagi{\displaystyle p_{i}}se conoce como su autoinformación o sorpresa ,I(pagi){\displaystyle I(p_{i})}. Esta cantidad se define como: [ 38 ] [ 39 ]

I(pagi)=−registro2⁡(pagi){\displaystyle I(p_{i})=-\log _{2}(p_{i})}

Un símbolo menos probable tiene una mayor sorpresa, lo que significa que su aparición proporciona más información. [ 38 ] La entropíaH{\displaystyle H}es el promedio ponderado de la sorpresa de todos los símbolos posibles de la distribución de probabilidad de la fuente: [ 40 ] [ 41 ]

H(incógnita) = miincógnita[I(incógnita)] = ∑ipagiI(pagi) = −∑ipagiregistro2⁡(pagi){\displaystyle H(X)\ =\ \mathbb {E} _{X}[I(x)]\ =\ \sum _{i}p_{i}I(p_{i})\ =\ -\sum _{i}p_{i}\log _{2}(p_{i})}

Intuitivamente, la entropíaH(incógnita){\displaystyle H(X)}de una variable aleatoria discreta X es una medida de la cantidad de incertidumbre asociada con el valor deincógnita{\displaystyle X}cuando solo se conoce su distribución. [ 36 ] Una entropía alta indica que los resultados están distribuidos de manera más uniforme, lo que hace que el resultado sea más difícil de predecir. [ 42 ]

Por ejemplo, si se transmiten 1000 bits (0 y 1), y el receptor conoce el valor de cada uno de estos bits (tiene un valor específico con certeza) antes de la transmisión, no se transmite información. Sin embargo, si cada bit tiene la misma probabilidad de ser 0 o 1, se han transmitido 1000 shannons de información (más comúnmente llamados bits). [ 43 ]

La entropía de un ensayo de Bernoulli en función de la probabilidad de éxito, a menudo denominada función de entropía binaria , H b ( p ) . La entropía se maximiza a 1 bit por ensayo cuando los dos resultados posibles son igualmente probables, como en un lanzamiento de moneda imparcial.

Propiedades

Una propiedad clave de la entropía es que se maximiza cuando todos los mensajes en el espacio de mensajes son equiprobables . Para una fuente con n símbolos posibles, dondepagi=1norte{\textstyle p_{i}={\frac {1}{n}}}a pesar dei{\displaystyle i}, la entropía viene dada por: [ 44 ]

H(incógnita)=registro2⁡(norte){\displaystyle H(X)=\log _{2}(n)}

Este valor máximo representa el estado más impredecible. [ 40 ]

Para una fuente que emite una secuencia denorte{\displaystyle N}símbolos que son independientes e idénticamente distribuidos (iid), la entropía total del mensaje esnorte⋅H{\displaystyle N\cdot H}bits. Si los símbolos de datos de origen están distribuidos de forma idéntica pero no son independientes, la entropía de un mensaje de longitudnorte{\displaystyle N}será menor quenorte⋅H{\displaystyle N\cdot H}. [ 45 ] [ 46 ]

Unidades

La elección de la base logarítmica en la fórmula de entropía determina la unidad de entropía utilizada: [ 38 ] [ 40 ]

  • Un logaritmo en base 2 (como se muestra en la fórmula principal) mide la entropía en bits por símbolo. Esta unidad también se denomina a veces shannon en honor a Claude Shannon. [ 36 ]
  • El logaritmo natural (en base e ) mide la entropía en nats por símbolo. Se utiliza con frecuencia en el análisis teórico, ya que evita la necesidad de constantes de escala (como ln 2) en las derivaciones. [ 47 ]
  • También son posibles otras bases. Un logaritmo en base 10 mide la entropía en dígitos decimales, o hartleys , por símbolo. [ 37 ] Un logaritmo en base 256 mide la entropía en bytes por símbolo, ya que 2 8 = 256 . [ 48 ]

Función de entropía binaria

El caso especial de entropía de la información para una variable aleatoria con dos resultados (un ensayo de Bernoulli ) es la función de entropía binaria . Esta se calcula típicamente utilizando un logaritmo en base 2, y su unidad es el shannon . [ 49 ] Si un resultado tiene probabilidad p , el otro tiene probabilidad 1 − p . La entropía viene dada por: [ 50 ]

Hb(pag)=−pagregistro2⁡pag−(1−pag)registro2⁡(1−pag){\displaystyle H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)}

Esta función se representa en el gráfico mostrado arriba, alcanzando su máximo de 1 bit cuando p = 0,5 , lo que corresponde a la mayor incertidumbre.

entropía conjunta

La entropía conjunta de dos variables aleatorias discretas X e Y es simplemente la entropía de su combinación: ( X , Y ) . Esto implica que si X e Y son independientes , entonces su entropía conjunta es la suma de sus entropías individuales.

Por ejemplo, si ( X , Y ) representa la posición de una pieza de ajedrez (X la fila e Y la columna), entonces la entropía conjunta de la fila de la pieza y la columna de la pieza será la entropía de la posición de la pieza.

H(incógnita,Y)=miincógnita,Y[−registro⁡pag(incógnita,y)]=−∑incógnita,ypag(incógnita,y)registro⁡pag(incógnita,y){\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,}

A pesar de la similitud en la notación, la entropía conjunta no debe confundirse con la entropía cruzada .

La entropía conjunta denorte{\displaystyle n}variables aleatorias discretasincógnitanorte≜(incógnita1,incógnita2,…,incógnitanorte){\displaystyle X^{n}\triangleq (X_{1},X_{2},\ldots ,X_{n})}es

H(incógnitanorte)=H(incógnita1,incógnita2,…,incógnitanorte)=mi[−registro⁡PAGincógnita1,…,incógnitanorte(incógnita1,…,incógnitanorte)]{\displaystyle H(X^{n})=H(X_{1},X_{2},\ldots ,X_{n})=\mathbb {E} \left[-\log P_{X_{1},\ldots ,X_{n}}(X_{1},\ldots ,X_{n})\right]}

Esto también puede representarse como una suma de su función de probabilidad conjunta:

H(incógnitanorte)=−∑incógnita1⋯∑incógnitanortePAGincógnita1,…,incógnitanorte(incógnita1,…,incógnitanorte)registro⁡PAGincógnita1,…,incógnitanorte(incógnita1,…,incógnitanorte){\displaystyle H(X^{n})=-\sum _{x_{1}}\cdots \sum _{x_{n}}P_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\log P_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}.

Por lo tanto, la entropía conjunta es simplemente un subcaso de la entropía donde la variable aleatoria es un vector que da valores en el espacio producto. [ 35 ]

Entropía condicional (equivocación)

La entropía condicional o incertidumbre condicional de X dada la variable aleatoria Y (también llamada equivocación de X sobre Y ) es la entropía condicional promedio sobre Y : [ 51 ]

H(incógnita|Y)=miY[H(incógnita|y)]=−∑y∈Ypag(y)∑incógnita∈incógnitapag(incógnita|y)registro⁡pag(incógnita|y)=−∑incógnita,ypag(incógnita,y)registro⁡pag(incógnita|y).{\displaystyle H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).}

Dado que la entropía puede estar condicionada a una variable aleatoria o a que dicha variable aleatoria tenga un valor determinado, conviene tener cuidado de no confundir estas dos definiciones de entropía condicional, siendo la primera la de uso más común. Una propiedad básica de esta forma de entropía condicional es que:

H(incógnita|Y)=H(incógnita,Y)−H(Y).{\displaystyle H(X|Y)=H(X,Y)-H(Y).\,}

Información mutua (transinformación)

La información mutua mide la cantidad de información que se puede obtener sobre una variable aleatoria al observar otra. Es importante en la comunicación, donde se puede utilizar para maximizar la cantidad de información compartida entre las señales enviadas y recibidas. La información mutua de X con respecto a Y viene dada por:

I(incógnita;Y)=miincógnita,Y[SI(incógnita,y)]=∑incógnita,ypag(incógnita,y)registro⁡pag(incógnita,y)pag(incógnita)pag(y){\displaystyle I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}}

donde SI ( Información Mutua Específica ) es la información mutua punto por punto .

Una propiedad básica de la información mutua es que:

I(incógnita;Y)=H(incógnita)−H(incógnita|Y).{\displaystyle I(X;Y)=H(X)-H(X|Y).\,}

Es decir, saberY{\textstyle Y}Podemos ahorrar un promedio de I ( X ; Y ) bits en la codificación.incógnita{\displaystyle X}en comparación con no saberY{\displaystyle Y}.

La información mutua es simétrica :

I(incógnita;Y)=I(Y;incógnita)=H(incógnita)+H(Y)−H(incógnita,Y).{\displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,}

La información mutua puede expresarse como la divergencia promedio de Kullback-Leibler (ganancia de información) entre la distribución de probabilidad posterior deincógnita{\displaystyle X}dado el valor deY{\textstyle Y}y la distribución previa enincógnita{\displaystyle X}:

I(incógnita;Y)=mipag(y)[DKL(pag(incógnita|Y=y)‖pag(incógnita))].{\displaystyle I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].}

En otras palabras, esta es una medida de cuánto, en promedio, la distribución de probabilidad enincógnita{\displaystyle X}cambiará si se nos da el valor deY{\textstyle Y}Esto se suele recalcular como la divergencia del producto de las distribuciones marginales con respecto a la distribución conjunta real:

I(incógnita;Y)=DKL(pag(incógnita,Y)‖pag(incógnita)pag(Y)).{\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).}

La información mutua está estrechamente relacionada con la prueba de razón de verosimilitud logarítmica en el contexto de las tablas de contingencia y la distribución multinomial , y con la prueba χ² de Pearson : la información mutua puede considerarse una estadística para evaluar la independencia entre un par de variables y tiene una distribución asintótica bien especificada.

Divergencia de Kullback-Leibler (ganancia de información)

La divergencia de Kullback-Leibler (o divergencia de información , ganancia de información o entropía relativa ) es una forma de comparar dos distribuciones: una distribución de probabilidad "verdadera "pag(incógnita){\displaystyle p(X)}y una distribución de probabilidad arbitrariaq(incógnita){\displaystyle q(X)}⁠ . Si comprimimos los datos de una manera que asume ⁠q(incógnita){\displaystyle q(X)}⁠ es la distribución subyacente a algunos datos, cuando, en realidad, ⁠pag(incógnita){\displaystyle p(X)}La distribución correcta es la divergencia de Kullback-Leibler, que es el número promedio de bits adicionales por dato necesarios para la compresión. Se define así:

DKL(pag(incógnita)‖q(incógnita))=∑incógnita∈incógnita−pag(incógnita)registro⁡q(incógnita)−∑incógnita∈incógnita−pag(incógnita)registro⁡pag(incógnita)=∑incógnita∈incógnitapag(incógnita)registro⁡pag(incógnita)q(incógnita).{\displaystyle D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.}

Although it is sometimes used as a 'distance metric', KL divergence is not a true metric since it is not symmetric and does not satisfy the triangle inequality (making it a semi-quasimetric).

Another interpretation of the KL divergence is the "unnecessary surprise" introduced by a prior from the truth: suppose a number X{\displaystyle X} is about to be drawn randomly from a discrete set with probability distribution ⁠p(x){\displaystyle p(x)}⁠. If Alice knows the true distribution ⁠p(x){\displaystyle p(x)}⁠, while Bob believes (has a prior) that the distribution is ⁠q(x){\displaystyle q(x)}⁠, then Bob will be more surprised than Alice, on average, upon seeing the value of X{\displaystyle X}. The KL divergence is the (objective) expected value of Bob's (subjective) surprisal minus Alice's surprisal, measured in bits if the log is in base 2. In this way, the extent to which Bob's prior is "wrong" can be quantified in terms of how "unnecessarily surprised" it is expected to make him.

The Kullback Leibler information provides a link between information theory and hypothesis testing, as it is the optimal error exponent in asymmetric hypothesis testing.

Directed Information

Directed information, I(Xn→Yn){\displaystyle I(X^{n}\to Y^{n})}, is an information theory measure that quantifies the information flow from the random process Xn={X1,X2,…,Xn}{\displaystyle X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}} to the random process Yn={Y1,Y2,…,Yn}{\displaystyle Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}}. The term directed information was coined by James Massey and is defined as:

I(Xn→Yn) ≜ ∑i=1nI(Xi;Yi|Yi−1){\displaystyle I(X^{n}\to Y^{n})\ \triangleq \ \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})},

where I(Xi;Yi|Yi−1){\displaystyle I(X^{i};Y_{i}|Y^{i-1})} is the conditional mutual informationI(X1,X2,...,Xi;Yi|Y1,Y2,...,Yi−1){\displaystyle I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}.

In contrast to mutual information, directed information is not symmetric. The I(Xn→Yn){\displaystyle I(X^{n}\to Y^{n})} measures the information bits that are transmitted causally from Xn{\displaystyle X^{n}} to Yn{\displaystyle Y^{n}}. The Directed information has many applications in problems where causality plays an important role such as capacity of channel with feedback,[52][53] capacity of discrete memoryless networks with feedback,[54]gambling with causal side information,[55]compression with causal side information,[56]real-time control communication settings,[57][58] and in statistical physics.[59]

Other quantities

Otras magnitudes importantes en la teoría de la información incluyen la entropía de Rényi y la entropía de Tsallis (generalizaciones del concepto de entropía), la entropía diferencial (una generalización de las magnitudes de información a distribuciones continuas) y la información mutua condicional . Asimismo, se ha propuesto la información pragmática como una medida de la cantidad de información utilizada en la toma de decisiones.

Teoría de la codificación

Imagen que muestra arañazos en la superficie legible de un CD-R. Los CD de música y datos están codificados con códigos de corrección de errores y, por lo tanto, se pueden leer incluso si tienen pequeños arañazos gracias a la detección y corrección de errores .

La teoría de la codificación es una de las aplicaciones más importantes y directas de la teoría de la información. Se puede subdividir en teoría de la codificación de la fuente y teoría de la codificación del canal. Mediante una descripción estadística de los datos, la teoría de la información cuantifica el número de bits necesarios para describirlos, lo que constituye la entropía de la información de la fuente.

  • Compresión de datos (codificación de origen): Existen dos formulaciones para el problema de la compresión:
  • Códigos de corrección de errores (codificación de canal): Si bien la compresión de datos elimina la mayor cantidad de redundancia posible, un código de corrección de errores agrega el tipo justo de redundancia (es decir, corrección de errores) necesaria para transmitir los datos de manera eficiente y fiel a través de un canal ruidoso.

Esta división de la teoría de la codificación en compresión y transmisión se justifica por los teoremas de transmisión de información, o teoremas de separación fuente-canal que justifican el uso de bits como moneda universal de información en muchos contextos. Sin embargo, estos teoremas solo se cumplen cuando un usuario transmisor desea comunicarse con un usuario receptor. En escenarios con más de un transmisor (el canal de acceso múltiple), más de un receptor (el canal de difusión ) o "ayudantes" intermedios (el canal de retransmisión ), o redes más generales , la compresión seguida de la transmisión puede dejar de ser óptima. Para fuentes y canales generales que no son necesariamente estacionarios o ergódicos, los métodos del espectro de información caracterizan los límites de codificación utilizando distribuciones asintóticas de densidad de información en lugar de solo entropías de una sola letra o información mutua. [ 60 ] Un problema relacionado, la resolubilidad del canal , pregunta qué tasa se requiere para que las entradas del canal se aproximen a una distribución de salida objetivo; Han y Sergio Verdú conectaron este problema de aproximación con los teoremas de codificación para canales generales. [ 61 ]

Más tarde, Hayashi derivó fórmulas generales no asintóticas y asintóticas que conectan la capacidad de resolución del canal y la capacidad de identificación, y aplicó estas fórmulas al análisis de seguridad para el canal de escuchas telefónicas. [ 62 ]

Teoría de la fuente

Cualquier proceso que genere mensajes sucesivos puede considerarse una fuente de información. Una fuente sin memoria es aquella en la que cada mensaje es una variable aleatoria independiente e idénticamente distribuida , mientras que las propiedades de ergodicidad y estacionariedad imponen restricciones menos estrictas. Todas estas fuentes son estocásticas . Estos términos se estudian ampliamente fuera del ámbito de la teoría de la información.

Tasa

La tasa de información es la entropía promedio por símbolo. Para fuentes sin memoria, esto es simplemente la entropía de cada símbolo, mientras que, en el caso de un proceso estocástico estacionario, es:

r=límitenorte→∞H(incógnitanorte|incógnitanorte−1,incógnitanorte−2,incógnitanorte−3,…);{\displaystyle r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );}

Es decir, la entropía condicional de un símbolo dados todos los símbolos generados previamente. Para el caso más general de un proceso que no es necesariamente estacionario, la tasa promedio es:

r=límitenorte→∞1norteH(incógnita1,incógnita2,…incógnitanorte);{\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});}

es decir, el límite de la entropía conjunta por símbolo. Para fuentes estacionarias, estas dos expresiones dan el mismo resultado. [ 63 ]

La tasa de información se define como:

r=límitenorte→∞1norteI(incógnita1,incógnita2,…incógnitanorte;Y1,Y2,…Ynorte);{\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});}

En la teoría de la información, es común hablar de la "tasa" o "entropía" de un lenguaje. Esto resulta apropiado, por ejemplo, cuando la fuente de información es prosa en inglés. La tasa de una fuente de información está relacionada con su redundancia y su capacidad de compresión, tema de la codificación de fuentes .

Capacidad del canal

La comunicación a través de un canal es la principal motivación de la teoría de la información. Sin embargo, los canales a menudo no logran reconstruir con exactitud una señal; el ruido, los periodos de silencio y otras formas de distorsión de la señal suelen degradar su calidad.

Consideremos el proceso de comunicación a través de un canal discreto. A continuación se muestra un modelo sencillo del proceso:

→MensajeWCodificadorFnorte→minortedoodmidsmiqtúminortedomiincógnitanorteCanalpag(y|incógnita)→RmidomiivmidsmiqtúminortedomiYnorteDescifradorgramonorte→mistimetroatmidmetromissagramomiW^{\displaystyle {\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}}

Aquíincógnita{\displaystyle X}representa el espacio de los mensajes transmitidos yY{\textstyle Y}el espacio de mensajes recibidos durante una unidad de tiempo a través de nuestro canal. Sea p ( y | x ) la función de distribución de probabilidad condicional deY{\textstyle Y}dadoincógnita{\displaystyle X}Consideraremos p ( y | x ) como una propiedad fija inherente de nuestro canal de comunicaciones (que representa la naturaleza del ruido de nuestro canal). Entonces, la distribución conjunta deincógnita{\displaystyle X}yY{\textstyle Y}está completamente determinado por nuestro canal y por nuestra elección de f ( x ) , la distribución marginal de los mensajes que elegimos enviar a través del canal. Bajo estas restricciones, nos gustaría maximizar la tasa de información, o la señal , que podemos comunicar a través del canal. La medida apropiada para esto es la información mutua, y esta información mutua máxima se denomina capacidad del canal y viene dada por:

do=máximoFI(incógnita;Y).{\displaystyle C=\max _{f}I(X;Y).\!}

Esta capacidad posee la siguiente propiedad relacionada con la comunicación a una tasa de información R (donde R suele ser bits por símbolo). Para cualquier tasa de información R < C y error de codificación ε > 0, para N suficientemente grande , existe un código de longitud N y tasa ≥ R y un algoritmo de decodificación, tal que la probabilidad máxima de error de bloque es ≤ ε ; es decir, siempre es posible transmitir con un error de bloque arbitrariamente pequeño. Además, para cualquier tasa R > C , es imposible transmitir con un error de bloque arbitrariamente pequeño.

La codificación de canal se centra en encontrar códigos casi óptimos que puedan utilizarse para transmitir datos a través de un canal ruidoso con un pequeño error de codificación y a una velocidad cercana a la capacidad del canal.

Capacidad de modelos de canales específicos

  • Un canal de comunicaciones analógico de tiempo continuo sujeto a ruido gaussiano —véase el teorema de Shannon-Hartley .
  • Un canal binario simétrico (BSC) con probabilidad de cruce p es un canal de entrada binaria y salida binaria que invierte el bit de entrada con probabilidad p . El BSC tiene una capacidad de 1 − H b ( p ) bits por uso del canal, donde H b es la función de entropía binaria en logaritmo de base 2:
  • Un canal de borrado binario (BEC) con probabilidad de borrado p es un canal con entrada binaria y salida ternaria. Las posibles salidas del canal son 0, 1 y un tercer símbolo, 'e', ​​denominado borrado. El borrado representa la pérdida total de información sobre un bit de entrada. La capacidad del BEC es de 1 − p bits por uso del canal.

Canales con memoria e información dirigida

En la práctica, muchos canales tienen memoria. Es decir, en el momentoi{\displaystyle i}El canal viene dado por la probabilidad condicionalPAG(yi|incógnitai,incógnitai−1,incógnitai−2,...,incógnita1,yi−1,yi−2,...,y1){\displaystyle P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1})}A menudo es más cómodo utilizar la notaciónincógnitai=(incógnitai,incógnitai−1,incógnitai−2,...,incógnita1){\displaystyle x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})}y el canal se conviertePAG(yi|incógnitai,yi−1){\displaystyle P(y_{i}|x^{i},y^{i-1})}. En tal caso, la capacidad viene dada por la tasa de información mutua cuando no hay retroalimentación disponible y la tasa de información dirigida en el caso de que haya o no retroalimentación [ 52 ] [ 64 ] (si no hay retroalimentación, la información dirigida es igual a la información mutua).

Información fungible

La información fungible es aquella para la cual el método de codificación no es importante. [ 65 ] Los teóricos de la información clásicos y los científicos de la computación se ocupan principalmente de este tipo de información. A veces se la denomina información verbalizable. [ 66 ]

Aplicaciones a otros campos

Fisiología de redes

Los conceptos, métodos y enfoques de la teoría de la información tienen amplias aplicaciones en la fisiología de redes, [ 67 ] [ 68 ] [ 69 ] un campo que proporciona un marco cuantitativo, basado en redes adaptativas de sistemas dinámicos, para investigar cómo los sistemas fisiológicos intercambian, procesan e integran información como una red para (i) coordinar sus funciones a través de niveles y escalas (desde el nivel subcelular hasta el de órganos y organismos) y (ii) generar estados fisiológicos distintos en la salud y la enfermedad. A través de medidas como la información mutua, la entropía de transferencia y la co-información, la teoría de la información permite la detección de la fuerza de acoplamiento, la direccionalidad, la sinergia/redundancia y las interacciones de orden superior entre sistemas y subsistemas fisiológicos, revelando cómo se produce la comunicación cruzada y la regulación de la red dentro del organismo. Las aplicaciones de los enfoques de la teoría de la información abarcan desde el análisis de la transferencia de información entre las redes del cerebro y del cuerpo durante varios estados; [ 70 ] [ 71 ] [ 72 ] interacciones cardiorrespiratorias; [ 73 ] [ 74 ] [ 75 ] interacciones cardiomusculares; [ 76 ] interacciones corticomusculares; [ 77 ] [ 78 ] interacciones de ondas cerebrales y redes funcionales cerebrales; [ 79 ] [ 80 ] [ 81 ] [ 82 ] [ 83 ] fisiología de redes en entornos extremos. [ 84 ]

Usos de la inteligencia y aplicaciones de secreto

Information theoretic concepts apply to cryptography and cryptanalysis. Turing's information unit, the ban, was used in the Ultra project, breaking the German Enigma machine code and hastening the end of World War II in Europe. Shannon himself defined an important concept now called the unicity distance. Based on the redundancy of the plaintext, it attempts to give a minimum amount of ciphertext necessary to ensure unique decipherability.

Information theory leads us to believe it is much more difficult to keep secrets than it might first appear. A brute force attack can break systems based on asymmetric key algorithms or on most commonly used methods of symmetric key algorithms (sometimes called secret key algorithms), such as block ciphers. The security of all such methods comes from the assumption that no known attack can break them in a practical amount of time.

Information theoretic security refers to methods such as the one-time pad that are not vulnerable to such brute force attacks. In such cases, the positive conditional mutual information between the plaintext and ciphertext (conditioned on the key) can ensure proper transmission, while the unconditional mutual information between the plaintext and ciphertext remains zero, resulting in absolutely secure communications. In other words, an eavesdropper would not be able to improve his or her guess of the plaintext by gaining knowledge of the ciphertext but not of the key. However, as in any other cryptographic system, care must be used to correctly apply even information-theoretically secure methods; the Venona project was able to crack the one-time pads of the Soviet Union due to their improper reuse of key material.

Pseudorandom number generation

Los generadores de números pseudoaleatorios están ampliamente disponibles en bibliotecas de lenguajes de programación y programas de aplicación. Casi universalmente, no son adecuados para uso criptográfico, ya que no eluden la naturaleza determinista de los equipos y el software informáticos modernos. Una clase de generadores de números aleatorios mejorados se denomina generadores de números pseudoaleatorios criptográficamente seguros , pero incluso estos requieren semillas aleatorias externas al software para funcionar correctamente. Estas pueden obtenerse mediante extractores , si se realiza con cuidado. La medida de aleatoriedad suficiente en los extractores es la min-entropía , un valor relacionado con la entropía de Shannon a través de la entropía de Rényi ; la entropía de Rényi también se utiliza para evaluar la aleatoriedad en sistemas criptográficos. Aunque relacionadas, las diferencias entre estas medidas implican que una variable aleatoria con una alta entropía de Shannon no es necesariamente satisfactoria para su uso en un extractor y, por lo tanto, para aplicaciones criptográficas.

Exploración sísmica

Una de las primeras aplicaciones comerciales de la teoría de la información se dio en el campo de la exploración sísmica de petróleo. El trabajo en este campo permitió eliminar y separar el ruido no deseado de la señal sísmica deseada. La teoría de la información y el procesamiento digital de señales ofrecen una mejora significativa en la resolución y la claridad de la imagen con respecto a los métodos analógicos anteriores. [ 85 ]

Semiótica

Los semiólogos Doede Nauta y Winfried Nöth consideraron que Charles Sanders Peirce había creado una teoría de la información en sus obras sobre semiótica. [ 86 ] : 171 [ 87 ] : 137 Nauta definió la teoría de la información semiótica como el estudio de " los procesos internos de codificación, filtrado y procesamiento de la información " . [ 86 ] : 91

Conceptos de la teoría de la información, como la redundancia y el control de códigos, han sido utilizados por semiólogos como Umberto Eco y Ferruccio Rossi-Landi para explicar la ideología como una forma de transmisión de mensajes mediante la cual una clase social dominante emite su mensaje utilizando signos que presentan un alto grado de redundancia, de modo que solo se decodifica un mensaje entre una selección de mensajes en competencia. [ 88 ]

Organización de procesos integrados de información neuronal

Los métodos de la teoría de la información cuantitativa se han aplicado en la ciencia cognitiva para analizar la organización del proceso integrado de la información neuronal en el contexto del problema de la vinculación en la neurociencia cognitiva . [ 89 ] En este contexto, se define una medida teórica de la información, como los clústeres funcionales ( modelo de agrupamiento funcional de Gerald Edelman y Giulio Tononi e hipótesis del núcleo dinámico (DCH) [ 90 ] ) o información efectiva ( teoría de la información integrada (IIT) de la conciencia de Tononi [ 91 ] [ 92 ] [ 93 ] ), (sobre la base de una organización de procesos reentrantes, es decir, la sincronización de la actividad neurofisiológica entre grupos de poblaciones neuronales), o la medida de la minimización de la energía libre sobre la base de métodos estadísticos ( principio de energía libre (FEP) de Karl J. Friston , una medida teórica de la información que establece que cada cambio adaptativo en un sistema autoorganizado conduce a una minimización de la energía libre, y la hipótesis cerebral bayesiana [ 94 ] [ 95 ] [ 96 ] [ 97 ] [ 98 ] ).

Aplicaciones diversas

La teoría de la información también tiene aplicaciones en la búsqueda de inteligencia extraterrestre , [ 99 ] agujeros negros , [ 100 ] bioinformática , [ 101 ] y juegos de azar . [ 102 ] [ 103 ]

Véase también

Aplicaciones

Historia

Teoría

Conceptos

Referencias

  1. ↑ Schneider, Thomas D. (2006). "Claude Shannon: Biólogo" . IEEE Engineering in Medicine and Biology Magazine . 25 (1): 30– 33. doi : 10.1109/memb.2006.1578661 . ISSN 0739-5175 . PMC 1538977. PMID 16485389 .   
  2. 1 2 Cruces, Sergio; Martín-Clemente, Rubén; Samek, Wojciech (2019-07-03). "Aplicaciones de la teoría de la información en el procesamiento de señales" . Entropy . 21 ( 7): 653. Bibcode : 2019Entrp..21..653C . doi : 10.3390/e21070653 . ISSN 1099-4300 . PMC 7515149. PMID 33267367 .   
  3. 1 2 Cao, FJ; Feito, M. (2009-04-10). "Termodinámica de sistemas controlados por retroalimentación" . Physical Review E. 79 ( 4) 041118. arXiv : 0805.4824 . Bibcode : 2009PhRvE..79d1118C . doi : 10.1103/PhysRevE.79.041118 . ISSN 1539-3755 . PMID 19518184 .  
  4. 1 2 Baleanu, D.; Balas, Valentina Emilia; Agarwal, Praveen, eds. (2023). Sistemas de orden fraccional y aplicaciones en ingeniería . Estudios avanzados en sistemas complejos. Londres, Reino Unido: Academic Press. pág. 23. ISBN  978-0-323-90953-2OCLC 1314337815​​ 
  5. ↑ Horgan, John (27 de abril de 2016). "Claude Shannon: inventor, bromista y padre de la teoría de la información" . IEEE . Archivado del original el 10 de noviembre de 2024. Consultado el 8 de noviembre de 2024 .
  6. ↑ Shi, Zhongzhi (2011). Inteligencia artificial avanzada . World Scientific Publishing . pág. 2. doi : 10.1142/7547 . ISBN  978-981-4291-34-7Archivado del original el 10/11/2024 . Consultado el 09/11/2024 .
  7. ↑ Sinha, Sudhi; Al Huraimel, Khaled (2020-10-20). Reimagining Businesses with AI (1.ª ed.). Wiley. p. 4. doi : 10.1002/9781119709183 . ISBN   978-1-119-70915-2.
  8. ↑ Burnham, KP; Anderson, DR (2002). Selección de modelos e inferencia multimodelos: un enfoque práctico basado en la teoría de la información (Segunda edición). Nueva York: Springer Science. ISBN  978-0-387-95364-9.
  9. 1 2 F. Rieke; D. Warland; R Ruyter van Steveninck; W. Bialek (1997). Spikes: explorando el código neuronal . La prensa del MIT. ISBN 978-0-262-68108-7.
  10. ↑ Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "La visión humana se determina en base a la teoría de la información" . Scientific Reports . 6 (1) 36038. Bibcode : 2016NatSR...636038D . doi : 10.1038/srep36038 . ISSN 2045-2322 . PMC 5093619. PMID 27808236 .   
  11. ↑ cf; Huelsenbeck, JP; Ronquist, F.; Nielsen, R.; Bollback, JP (2001). "Inferencia bayesiana de la filogenia y su impacto en la biología evolutiva" . Science . 294 ( 5550): 2310– 2314. Bibcode : 2001Sci...294.2310H . doi : 10.1126/science.1065889 . PMID 11743192. S2CID 2138288 .  
  12. ↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "Thomas D. Schneider ] , Michael Dean (1998) Organización del gen ABCR: análisis de las secuencias del promotor y de la unión de empalme" . Gene . 215 (1): 111– 122. doi : 10.1016/s0378-1119(98)00269-8 . PMID 9666097 . Archivado del original el 21-08-2008 . Recuperado el 18-10-2010 . 
  13. ↑ Jaynes, ET (1957). "Teoría de la información y mecánica estadística" . Phys. Rev. 106 ( 4): 620. Bibcode : 1957PhRv..106..620J . doi : 10.1103/physrev.106.620 . S2CID 17870175. Archivado del original el 30 de agosto de 2011. Consultado el 13 de marzo de 2008 . 
  14. ↑ Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "Método de entropía de información para la evaluación de la convergencia de simulaciones de dinámica molecular" . Journal of Applied Physics . 128 (13): 135102. Bibcode : 2020JAP...128m5102T . doi : 10.1063/5.0019078 . OSTI 1691442. S2CID 225010720 .  
  15. ↑ Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "Cartas en cadena e historias evolutivas" . Scientific American . 288 (6): 76– 81. Bibcode : 2003SciAm.288f..76B . doi : 10.1038/scientificamerican0603-76 . PMID 12764940. Archivado del original el 7 de octubre de 2007. Consultado el 11 de marzo de 2008 . 
  16. ↑ David R. Anderson (1 de noviembre de 2003). "Algunos antecedentes sobre por qué las personas en las ciencias empíricas podrían querer comprender mejor los métodos de la teoría de la información" (PDF) . Archivado del original (PDF) el 23 de julio de 2011. Recuperado el 23 de junio de 2010 .
  17. ↑ Loy, D. Gareth (2017), "Música, expectativa y teoría de la información" , en Pareyon, Gabriel; Pina-Romero, Silvia; Agustín-Aquino, Octavio A.; Lluis-Puebla, Emilio (eds.), La mente musical-matemática: patrones y transformaciones , Ciencia musical computacional, Cham: Springer International Publishing, pp. 161–169 , doi : 10.1007/978-3-319-47337-6_17 , ISBN  978-3-319-47337-6, consultado el 19 de septiembre de 2024
  18. ↑ Rocamora, Martín; Cancela, Pablo; Biscainho, Luiz (2019-04-05). "Conceptos de teoría de la información aplicados al análisis del ritmo en música grabada con patrones rítmicos recurrentes" . Journal of the Audio Engineering Society . 67 (4): 160– 173. doi : 10.17743/jaes.2019.0003 (inactivo el 28 de enero de 2026).{{cite journal}}: CS1 maint: DOI inactivo desde enero de 2026 ( enlace )
  19. ↑ Marsden, Alan (2020). "Nuevas perspectivas para la teoría de la información en la investigación artística" . Leonardo . 53 (3): 274– 280. doi : 10.1162/leon_a_01860 . ISSN 0024-094X . 
  20. ↑ Pinkard, Henry; Kabuli, Leyla; Markley, Eric; Chien, Tiffany; Jiao, Jiantao; Waller, Laura (2024). "Evaluación y diseño universal de sistemas de imágenes mediante estimación de información". arXiv : 2405.20559 [ physics.optics ].
  21. ↑ Wing, Simon; Johnson, Jay R. (2019-02-01). "Aplicaciones de la teoría de la información en física solar y espacial" . Entropy . 21 ( 2): 140. Bibcode : 2019Entrp..21..140W . doi : 10.3390/e21020140 . ISSN 1099-4300 . PMC 7514618. PMID 33266856 .   
  22. ↑ Kak, Subhash (26 de noviembre de 2020). " Teoría de la información y dimensionalidad del espacio" . Scientific Reports . 10 (1) 20733. doi : 10.1038/s41598-020-77855-9 . ISSN 2045-2322 . PMC 7693271. PMID 33244156 .   
  23. ↑ Harms, William F. (1998). "El uso de la teoría de la información en la epistemología" . Philosophy of Science . 65 (3): 472– 501. doi : 10.1086/392657 . ISSN 0031-8248 . JSTOR 188281 .  
  24. ↑ Berrou, C.; Glavieux, A.; Thitimajshima, P. (mayo de 1993). "Codificación y decodificación de corrección de errores cerca del límite de Shannon: Turbocódigos. 1". Actas de la ICC '93 - Conferencia Internacional IEEE sobre Comunicaciones . Vol. 2. págs. 1064–1070 vol.2. doi : 10.1109/ICC.1993.397441 . ISBN   0-7803-0950-2.
  25. ↑ MacKay, DJC (marzo de 1999). "Buenos códigos de corrección de errores basados ​​en matrices muy dispersas". IEEE Transactions on Information Theory . 45 (2): 399– 431. Bibcode : 1999ITIT...45..399M . doi : 10.1109/18.748992 . ISSN 1557-9654 . 
  26. ↑ Menezes, Alfred J.; van Oorschot, Paul C.; Vanstone, Scott A. (2018-12-07). Manual de criptografía aplicada (1.ª ed.). CRC Press. doi : 10.1201/9780429466335 . ISBN  978-0-429-46633-5.
  27. ↑ Gleick 2011 , págs. 3–4.
  28. ↑ Horgan, John (27 de abril de 2016). "Claude Shannon: inventor, bromista y padre de la teoría de la información" . IEEE . Archivado del original el 28 de septiembre de 2023. Consultado el 30 de septiembre de 2023 .
  29. ↑ Roberts, Siobhan (30 de abril de 2016). "El padre olvidado de la era de la información" . The New Yorker . ISSN 0028-792X . Archivado del original el 28 de septiembre de 2023. Consultado el 30 de septiembre de 2023 . 
  30. 1 2 Tse, David (22 de diciembre de 2020). "Cómo Claude Shannon inventó el futuro" . Quanta Magazine . Archivado del original el 15 de diciembre de 2023. Recuperado el 30 de septiembre de 2023 .
  31. ↑ Zorich, VA (abril de 2022). «Entropía en termodinámica y en teoría de la información» . Problemas de transmisión de información . 58 (2): 103–110 . doi : 10.1134/S0032946022020016 . ISSN 0032-9460 – vía Open Athens. Recuperado el 11 de enero de 2026. 
  32. ↑ Shannon, Claude E. (julio de 1948). "Una teoría matemática de la comunicación" (PDF) . Bell System Technical Journal . 27 (3 y 4): 379–423 , 623–656 . Bibcode : 1948BSTJ...27..379S . doi : 10.1002/j.1538-7305.1948.tb01338.x . Archivado del original (PDF) el 15 de febrero de 2019. Recuperado el 16 de agosto de 2019 .
  33. ↑ "Bits y dígitos binarios" . cs.stanford.edu . Consultado el 15 de junio de 2026 .
  34. ↑ Braverman, Mark (19 de septiembre de 2011). "Teoría de la información en ciencias de la computación" (PDF) . Archivado (PDF) del original el 20 de mayo de 2024. Recuperado el 25 de mayo de 2024 .
  35. 1 2 Polyanskiy, Yury; Wu, Yihong (2025). Teoría de la información: de la codificación al aprendizaje . Cambridge, Reino Unido ; Nueva York, NY: Cambridge University Press. ISBN  978-1-108-83290-8.
  36. 1 2 3 Cover, Thomas M.; Thomas, Joy A. (2006). Elementos de la teoría de la información (2.ª ed.). Wiley-Interscience. pág. 14. ISBN   978-0-471-24195-9.
  37. 1 2 Arndt, C. (2004). Medidas de información: La información y su descripción en ciencia e ingeniería . Springer. pág. 5. ISBN  978-3-540-40855-0.
  38. 1 2 3 MacKay, David JC (2003). Teoría de la información, inferencia y algoritmos de aprendizaje . Cambridge University Press. pág. 29. ISBN  978-0-521-64298-9.
  39. ↑ Carter, Tom (2009). ""Entropía" en la interfaz Clausius-Shannon" . Entropía . págs. 394–438 . doi : 10.3390/e11030388 (inactivo el 8 de junio de 2026) . Recuperado el 6 de julio de 2025 . {{cite web}}: CS1 maint: DOI inactivo desde junio de 2026 ( enlace )
  40. 1 2 3 Reza, Fazlollah M. (1994). Introducción a la teoría de la información . Dover Publications. pág. 66. ISBN  978-0-486-68210-5.
  41. ↑ Stone, James V. (2015). Teoría de la información: Una introducción didáctica . Sebtel Press. pág. 7. ISBN  978-0-9563728-5-7.
  42. ↑ Schneider, Tom D. (22 de marzo de 2007). "Introducción a la teoría de la información" . Archivado del original el 29 de agosto de 2012. Consultado el 6 de julio de 2025 .
  43. ↑ Cover, Thomas M.; Thomas, Joy A. (2006). Elementos de la teoría de la información (2.ª ed.). Wiley-Interscience. pág. 1. ISBN   978-0-471-24195-9.
  44. ↑ Cover, Thomas M.; Thomas, Joy A. (2006). Elementos de la teoría de la información (2.ª ed.). Wiley-Interscience. pág. 27. ISBN   978-0-471-24195-9. Teorema 2.6.2: H ( X ) ≤ log| X |, con igualdad si y solo si X tiene una distribución uniforme sobre X .
  45. ↑ Cover, Thomas M.; Thomas, Joy A. (2006). Elementos de la teoría de la información (2.ª ed.). Wiley-Interscience. pág. 63. ISBN   978-0-471-24195-9.
  46. ↑ MacKay, David JC (2003). Teoría de la información, inferencia y algoritmos de aprendizaje . Cambridge University Press. pág. 75. ISBN  978-0-521-64298-9.
  47. ↑ Leung, K. (2011). "Teoría de la información y el teorema del límite central" ( PDF) . Universidad de Purdue . Recuperado el 6 de julio de 2025. La unidad de información está determinada por la base del logaritmo. Si la base es 2, la unidad es bits. Si la base es e, la unidad es nats.
  48. ↑ MacKay, David JC (2003). Teoría de la información, inferencia y algoritmos de aprendizaje . Cambridge University Press. pág. 30. ISBN  978-0-521-64298-9Si utilizamos logaritmos en base b , medimos la información en unidades de log b² bits. Podemos llamar a una cantidad de información de log₂ 2⁵⁶ = 8 bits un byte.
  49. ↑ Cover, Thomas M.; Thomas, Joy A. (2006). Elementos de la teoría de la información (2.ª ed.). Wiley-Interscience. pág. 15. ISBN   978-0-471-24195-9.
  50. ↑ MacKay, David JC (2003). Teoría de la información, inferencia y algoritmos de aprendizaje . Cambridge University Press. pág. 145. ISBN  978-0-521-64298-9.
  51. ↑ Ceniza 1990 .
  52. 1 2 Massey, James (1990), "Causalidad, retroalimentación e información dirigida", Actas del Simposio Internacional de 1990 sobre Teoría de la Información y sus aplicaciones , CiteSeerX 10.1.1.36.5688 
  53. ↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (febrero de 2009). "Finite State Channels With Time-Invariant Deterministic Feedback". IEEE Transactions on Information Theory . 55 (2): 644– 662. arXiv : cs/0608070 . Bibcode : 2009ITIT...55..644P . doi : 10.1109/TIT.2008.2009849 . S2CID 13178 . 
  54. ↑ Kramer, G. (enero de 2003). "Resultados de capacidad para la red discreta sin memoria". IEEE Transactions on Information Theory . 49 (1): 4– 21. Bibcode : 2003ITIT...49....4K . doi : 10.1109/TIT.2002.806135 .
  55. ↑ Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (junio de 2011). "Interpretaciones de información dirigida en la teoría de carteras, compresión de datos y prueba de hipótesis". IEEE Transactions on Information Theory . 57 (6): 3248– 3259. arXiv : 0912.4872 . Bibcode : 2011ITIT...57.3248P . doi : 10.1109/TIT.2011.2136270 . S2CID 11722596 . 
  56. ↑ Simeone, Osvaldo; Permuter, Haim Henri (junio de 2013). "Codificación de fuente cuando la información lateral puede retrasarse". IEEE Transactions on Information Theory . 59 (6): 3607– 3618. arXiv : 1109.1293 . Bibcode : 2013ITIT...59.3607S . doi : 10.1109/TIT.2013.2248192 . S2CID 3211485 . 
  57. ↑ Charalambous, Charalambos D.; Stavrou, Photios A. (agosto de 2016). "Información dirigida en espacios abstractos: propiedades e igualdades variacionales". IEEE Transactions on Information Theory . 62 (11): 6019– 6052. arXiv : 1302.3971 . Bibcode : 2016ITIT...62.6019C . doi : 10.1109/TIT.2016.2604846 . S2CID 8107565 . 
  58. ↑ Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (enero de 2018). "Control LQG con información dirigida mínima: enfoque de programación semidefinida" . IEEE Transactions on Automatic Control . 63 (1): 37– 52. arXiv : 1510.04214 . Bibcode : 2018ITAC...63...37T . doi : 10.1109/TAC.2017.2709618 . S2CID 1401958. Archivado del original el 12 de abril de 2024 , a través de los repositorios de TU Delft. 
  59. ↑ Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 de abril de 2016). "Analogía entre el juego y la extracción de trabajo basada en mediciones". Journal of Statistical Mechanics: Theory and Experiment . 2016 (4) 043403. arXiv : 1404.6788 . Bibcode : 2016JSMTE..04.3403V . doi : 10.1088/1742-5468/2016/04/043403 . S2CID 124719237 . 
  60. ↑ Han, Te Sun (2003). Métodos del espectro de información en la teoría de la información . Modelado estocástico y probabilidad aplicada. Vol. 50. Springer. doi : 10.1007/978-3-662-12066-8 . ISBN  978-3-540-43581-5.
  61. ↑ Han, Te Sun; Verdú, Sergio (mayo de 1993). "Teoría de aproximación de las estadísticas de salida". IEEE Transactions on Information Theory . 39 (3): 752– 772. Bibcode : 1993ITIT...39..752H . doi : 10.1109/18.256486 .
  62. ↑ Hayashi, Masahito (abril de 2006). "Fórmulas generales no asintóticas y asintóticas en la capacidad de resolución e identificación de canales y su aplicación al canal de escuchas telefónicas". IEEE Transactions on Information Theory . 52 (4): 1562– 1575. Bibcode : 2006ITIT...52.1562H . doi : 10.1109/TIT.2006.871040 .
  63. ↑ Jerry D. Gibson (1998). Compresión digital para multimedia: principios y estándares . Morgan Kaufmann. ISBN 1-55860-369-7.
  64. ↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (febrero de 2009). "Finite State Channels With Time-Invariant Deterministic Feedback". IEEE Transactions on Information Theory . 55 (2): 644– 662. arXiv : cs/0608070 . Bibcode : 2009ITIT...55..644P . doi : 10.1109/TIT.2008.2009849 . S2CID 13178 . 
  65. ↑ Bartlett, Stephen D.; Rudolph, Terry; Spekkens, Robert W. (abril–junio 2007). "Marcos de referencia, reglas de superselección e información cuántica". Reviews of Modern Physics . 79 (2): 555– 606. arXiv : quant-ph/0610030 . Bibcode : 2007RvMP...79..555B . doi : 10.1103/RevModPhys.79.555 .
  66. ^ Peres, A.; PF Scudo (2002b). A. Khrennikov (ed.). Teoría cuántica: reconsideración de fundamentos . Prensa de la Universidad de Växjö, Växjö, Suecia. pag. 283. 
  67. ↑ Bashan, Amir; Bartsch, Ronny P.; Kantelhardt, Jan W.; Havlin, Shlomo; Ivanov, Plamen Ch (2012-02-28). "La fisiología de redes revela relaciones entre la topología de redes y la función fisiológica" . Nature Communications . 3 (1): 702. arXiv : 1203.0242 . Bibcode : 2012NatCo...3..702B . doi : 10.1038 / ncomms1705 . ISSN 2041-1723 . PMC 3518900. PMID 22426223 .   
  68. ↑ Ivanov, Plamen Ch.; Bartsch, Ronny P. (2014), "Fisiología de redes: mapeo de interacciones entre redes de redes fisiológicas" , en D'Agostino, Gregorio; Scala, Antonio (eds.), Redes de redes: la última frontera de la complejidad , Cham: Springer International Publishing, pp. 203–222 , Bibcode : 2014nnlf.book..203I , doi : 10.1007/978-3-319-03518-5_10 , ISBN  978-3-319-03518-5, consultado el 22 de diciembre de 2025
  69. ↑ Ivanov, Plamen Ch. (30 de junio de 2021). " El nuevo campo de la fisiología de redes: construyendo el fisioloma humano" . Frontiers in Network Physiology . 1 711778. doi : 10.3389/fnetp.2021.711778 . ISSN 2674-0109 . PMC 10013018. PMID 36925582 .   
  70. ↑ Candia-Rivera, Diego; de Vico Fallani, Fabrizio; Boehme, Rebecca; Salamone, Paula C. (2025-01-14). "Vinculando los latidos del corazón con la dinámica de la red cortical involucrada en la distinción entre el tacto autosocial y el tacto social" . Communications Biology . 8 (1): 52. doi : 10.1038/s42003-024-07448-z . ISSN 2399-3642 . PMC 11733256. PMID 39809818 .   
  71. ↑ Faes, L; Marinazzo, D; Jurysta, F; Nollo, G (2015-04-01). "Interacciones cerebro-corazón y cerebro-cerebro lineales y no lineales durante el sueño" . Medición fisiológica . 36 (4): 683– 698. Bibcode : 2015PhyM...36..683F . doi : 10.1088/0967-3334/36/4/683 . ISSN 0967-3334 . PMID 25799205 .  
  72. ↑ Antonacci, Yuri; Astolfi, Laura; Nollo, Giandomenico; Faes, Luca (2020-07-01). "Transferencia de información en procesos multivariados lineales evaluada mediante técnicas de regresión penalizada: validación y aplicación a redes fisiológicas" . Entropy . 22 ( 7): 732. Bibcode : 2020Entrp..22..732A . doi : 10.3390/e22070732 . ISSN 1099-4300 . PMC 7517272. PMID 33286504 .   
  73. ↑ Valenza, Gaetano; Faes, Luca; Citi, Luca; Orini, Michele; Barbieri, Riccardo (mayo de 2018). "Entropía de transferencia instantánea para el estudio de la dinámica no estacionaria cardiovascular y cardiorrespiratoria". IEEE Transactions on Biomedical Engineering . 65 (5): 1077– 1085. Bibcode : 2018ITBE...65.1077V . doi : 10.1109/TBME.2017.2740259 . hdl : 11568/915451 . ISSN 1558-2531 . PMID 28816654 .  
  74. ↑ Morandotti, Cecilia; Wikner, Matthew; Li, Qijun; Ito, Emily; Oyelade, Tope; Tan, Calix; Chen, Pin-Yu; Cawthorn, Anika; Lilaonitkul, Watjana; Mani, Ali R. (enero de 2025). "La disminución de la transferencia de información cardiorrespiratoria se asocia con deterioro y un mal pronóstico en pacientes críticos con sepsis" . Journal of Applied Physiology . 138 (1): 289–300 . doi : 10.1152/japplphysiol.00642.2024 . ISSN 8750-7587 . PMID 39679499 .  
  75. ↑ Cairo, Beatrice; Pernice, Riccardo; Radovanović, Nikola N.; Faes, Luca; Porta, Alberto; Platiša, Mirjana M. (2025-07-20). "Correspondencia del espacio de estados y métodos de entropía cruzada en la evaluación del acoplamiento cardiorrespiratorio bidireccional en la insuficiencia cardíaca" . Entropy . 27 ( 7): 770. Bibcode : 2025Entrp..27..770C . doi : 10.3390/e27070770 . ISSN 1099-4300 . PMC 12294321. PMID 40724486 .   
  76. ↑ Garcia-Retortillo, Sergi; Ch Ivanov, Plamen (2025). "Dinámica de las redes cardiomusculares en el ejercicio y la fatiga" . The Journal of Physiology . 603 (18): 5121– 5147. doi : 10.1113/JP286963 . ISSN 1469-7793 . PMID 39392864 .  
  77. ↑ Chen, Xiaoling; Zhang, Yuanyuan; Cheng, Shengcui; Xie, Ping (mayo de 2019). "Entropía espectral de transferencia y su aplicación al acoplamiento corticomuscular funcional". IEEE Transactions on Neural Systems and Rehabilitation Engineering . 27 (5): 1092– 1102. Bibcode : 2019ITNSR..27.1092C . doi : 10.1109/TNSRE.2019.2907148 . ISSN 1558-0210 . PMID 30908233 .  
  78. ↑ Cheng, Shengcui; Chen, Xiaoling; Zhang, Yuanyuan; Wang, Ying; Li, Xin; Li, Xiaoli; Xie, Ping (2023-12-01). "Interacción de información multiescala en la banda de frecuencia local en el acoplamiento corticomuscular funcional" . Cognitive Neurodynamics . 17 (6): 1575– 1589. doi : 10.1007/s11571-022-09895-y . ISSN 1871-4099 . PMC 10640559. PMID 37974587 .   
  79. ↑ Vicente, Raul; Wibral, Michael; Lindner, Michael; Pipa, Gordon (2011-02-01). "Entropía de transferencia: una medida sin modelo de conectividad efectiva para las neurociencias" . Journal of Computational Neuroscience . 30 (1): 45– 67. Bibcode : 2011JCoN...30...45V . doi : 10.1007/ s10827-010-0262-3 . ISSN 1573-6873 . PMC 3040354. PMID 20706781 .   
  80. ↑ Lobier, Muriel; Siebenhühner, Felix; Palva, Satu; Palva, J. Matias (2014-01-15). "Entropía de transferencia de fase: una nueva medida basada en la fase para la conectividad dirigida en redes acopladas por interacciones oscilatorias" . NeuroImage . Nuevos horizontes para las oscilaciones neuronales. 85 : 853–872 . doi : 10.1016/j.neuroimage.2013.08.056 . ISSN 1053-8119 . PMID 24007803 .  
  81. ↑ Menesse, Gustavo; Torres, Joaquín J. (2024-09-05). "Dinámica de la información de las ondas cerebrales EEG in silico: Perspectivas sobre oscilaciones y funciones" . PLOS Computational Biology . 20 (9) e1012369. doi : 10.1371/journal.pcbi.1012369 . ISSN 1553-7358 . PMC 11407780. PMID 39236071 .   
  82. ↑ Scagliarini, Tomas; Sparacino, Laura; Faes, Luca; Marinazzo, Daniele; Stramaglia, Sebastiano (2024-01-09). "Los gradientes de información O resaltan la sinergia y la redundancia en aplicaciones fisiológicas" . Frontiers in Network Physiology . 3 1335808. doi : 10.3389/fnetp.2023.1335808 . ISSN 2674-0109 . PMC 10803408. PMID 38264338 .   
  83. ↑ Vergara, Valeria Rosalia; Barà, Chiara; Zaccaro, Andrea; Ferri, Francesca; Jurysta, Fabrice; Faes, Luca; Antonacci, Yuri (2025). "Análisis teórico de la información de la amplitud de la onda EEG y la variabilidad de la frecuencia cardíaca revela la naturaleza dependiente de la escala temporal de las interacciones cerebro-corazón" . IEEE Open Journal of Engineering in Medicine and Biology . 6 : 499–506 . Bibcode : 2025IOJEM...6..499V . doi : 10.1109/OJEMB.2025.3590598 . hdl : 10447/686224 . ISSN 2644-1276 . 
  84. ↑ Morandotti, Cecilia; Rigny, Louise; Williams, Thomas B.; Badariotti, Juan I.; Miller-Dicks, Matt; Bhogal, Amar S.; Han, Shachula; Corbett, Jo; Tipton, Michael J.; Costello, Joseph T.; Mani, Ali R. (2025). "Evaluación no invasiva de la dinámica de la red cardiorrespiratoria integrada después del estrés fisiológico en humanos" . The Journal of Physiology . n/a (n/a) JP288939. doi : 10.1113/JP288939 . ISSN 1469-7793 . PMID 40623438 .  
  85. ↑ Haggerty, Patrick E. (1981). "La corporación y la innovación". Strategic Management Journal . 2 (2): 97– 118. doi : 10.1002/smj.4250020202 .
  86. 1 2 Nauta, Doede (1972). El significado de la información . La Haya: Mouton. ISBN 978-90-279-1996-0.
  87. ↑ Nöth, Winfried (enero de 2012). "La teoría de la información de Charles S. Peirce: una teoría del crecimiento de los símbolos y del conocimiento" . Cibernética y conocimiento humano . 19 ( 1–2 ): 137–161 .
  88. ↑ Nöth, Winfried (1981). " Semiótica de la ideología ". Semiotica , número 148.
  89. ↑ Maurer, H. (2021). «Capítulo 10: Clase sistemática de tipos de arquitectura basados ​​en la información». Ciencia cognitiva: Mecanismos de sincronización integradores en las neuroarquitecturas cognitivas del conexionismo moderno . Boca Raton/FL: CRC Press. doi : 10.1201/9781351043526 . ISBN 978-1-351-04352-6.
  90. ↑ Edelman, GM; Tononi, G. (2000). Un universo de conciencia: cómo la materia se convierte en imaginación . Nueva York: Basic Books. ISBN 978-0-465-01377-7.
  91. ↑ Tononi, G.; Sporns, O. (2003). "Medición de la integración de la información" . BMC Neuroscience . 4 31: 1– 20. doi : 10.1186/1471-2202-4-31 . PMC 331407. PMID 14641936 .  
  92. ↑ Tononi, G. (2004a). " Una teoría de la integración de la información de la conciencia" . BMC Neuroscience . 5 42: 1– 22. doi : 10.1186/1471-2202-5-42 . PMC 543470. PMID 15522121 .  
  93. ↑ Tononi, G. (2004b). «Conciencia y cerebro: aspectos teóricos» (PDF) . En Adelman, G.; Smith, B. (eds.). Enciclopedia de Neurociencia (3.ª ed.). Ámsterdam, Oxford: Elsevier. ISBN  0-444-51432-5Archivado del original el 2 de diciembre de 2023.
  94. ↑ Friston, K.; Stephan, KE (2007). "Energía libre y el cerebro" . Synthese . 159 (3): 417– 458. doi : 10.1007/s11229-007-9237- y . PMC 2660582. PMID 19325932 .  
  95. ↑ Friston, K. (2010). "El principio de la energía libre: una teoría cerebral unificada". Nature Reviews Neuroscience . 11 (2): 127– 138. doi : 10.1038/nrn2787 . PMID 20068583 . 
  96. ↑ Friston, K.; Breakstear, M.; Deco, G. (2012). " Percepción e inestabilidad autoorganizada" . Frontiers in Computational Neuroscience . 6 : 1–19 . doi : 10.3389/fncom.2012.00044 . PMC 3390798. PMID 22783185 .  
  97. ↑ Friston, K. (2013). "La vida tal como la conocemos" . Journal of the Royal Society Interface . 10 (86) 20130475. Bibcode : 2013JRSI...1030475F . doi : 10.1098 / rsif.2013.0475 . PMC 3730701. PMID 23825119 .  
  98. ↑ Kirchhoff, M.; Parr, T.; Palacios, E.; Friston, K.; Kiverstein, J. (2018). "Las mantas de Markov de la vida: autonomía, inferencia activa y el principio de energía libre" . Journal of the Royal Society Interface . 15 (138) 20170792. Bibcode : 2018JRSI...1570792K . doi : 10.1098 / rsif.2017.0792 . PMC 5805980. PMID 29343629 .  
  99. ↑ Doyle, Laurance R. ; McCowan, Brenda ; Johnston, Simon; Hanser, Sean F. (febrero de 2011). "Teoría de la información, comunicación animal y la búsqueda de inteligencia extraterrestre". Acta Astronautica . 68 ( 3– 4): 406– 417. Bibcode : 2011AcAau..68..406D . doi : 10.1016/j.actaastro.2009.11.018 .
  100. ↑ Bekenstein, Jacob D (2004). "Agujeros negros y teoría de la información" . Contemporary Physics . 45 (1): 31– 43. arXiv : quant-ph/0311049 . Bibcode : 2004ConPh..45...31B . doi : 10.1080/00107510310001632523 . ISSN 0010-7514 . 
  101. ↑ Vinga, Susana (2014-05-01). " Aplicaciones de la teoría de la información para el análisis de secuencias biológicas" . Briefings in Bioinformatics . 15 (3): 376– 389. doi : 10.1093/bib/bbt068 . ISSN 1467-5463 . PMC 7109941. PMID 24058049. Archivado del original el 12 de febrero de 2022. Recuperado el 20 de enero de 2025 .   
  102. ↑ Thorp, Edward O. (2008-01-01), "El criterio de Kelly en las apuestas deportivas de blackjack y el mercado de valores*" , en Zenios, SA; Ziemba, WT (eds.), Manual de gestión de activos y pasivos , San Diego: North-Holland, pp. 385–428 , doi : 10.1016/b978-044453248-0.50015-0 , ISBN  978-0-444-53248-0Archivado del original el 25/01/2025 , consultado el 20/01/2025.
  103. ↑ Haigh, John (2000). "El criterio de Kelly y las comparaciones de apuestas en las apuestas de margen" . Journal of the Royal Statistical Society, Serie D (The Statistician) . 49 (4): 531– 539. doi : 10.1111/1467-9884.00251 . ISSN 1467-9884 . 

Lecturas adicionales

La obra clásica

Otros artículos de revistas

  • JL Kelly Jr., Princeton Archivado el 1 de agosto de 2020 en Wayback Machine , "Una nueva interpretación de la tasa de información" Bell System Technical Journal , vol. 35, julio de 1956, págs.  917-26.
  • R. Landauer, IEEE.org , "La información es física" , Actas del Taller sobre Física y Computación PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993), págs.  1-4.
  • Landauer, R. (1961). "Irreversibilidad y generación de calor en el proceso de computación" (PDF) . IBM J. Res. Dev . 5 (3): 183– 191. doi : 10.1147/rd.53.0183 . Archivado (PDF) del original el 27 de marzo de 2009. Recuperado el 1 de diciembre de 2005 .
  • Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "Medidas de información multivariadas: una perspectiva experimental". arXiv : 1111.6857 [ cs.IT ].

Libros de texto sobre teoría de la información

  • Alajaji, F. y Chen, PN. Introducción a la teoría de la información para un solo usuario. Singapur: Springer, 2018. ISBN 978-981-10-8000-5Segunda edición 2026 ISBN 978-981-92-1548-5.
  • Arndt, C. Medidas de información, la información y su descripción en ciencia e ingeniería (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0
  • Ash, Robert B. (1990) [1965]. Teoría de la información . Nueva York: Dover Publications, Inc. ISBN 0-486-66521-6.
  • Gallager, R. Teoría de la información y comunicación fiable. Nueva York: John Wiley and Sons, 1968. ISBN 0-471-29048-3
  • Goldman, S. Teoría de la información . Nueva York: Prentice Hall, 1953. Nueva York: Dover, 1968. ISBN 0-486-62209-6ISBN de 2005 0-486-44271-3
  • Cover, Thomas ; Thomas, Joy A. (2006). Elementos de la teoría de la información (2.ª  ed.). Nueva York: Wiley-Interscience . ISBN 0-471-24195-4.
  • Csiszar, I. , Korner, J. Teoría de la información: Teoremas de codificación para sistemas discretos sin memoria. Akademiai Kiado: 2.ª edición, 1997. ISBN 963-05-7440-3
  • MacKay, David JC. Teoría de la información, inferencia y algoritmos de aprendizaje. Archivado el 17 de febrero de 2016 en Wayback Machine. Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
  • Mansuripur, M. Introducción a la teoría de la información . Nueva York: Prentice Hall, 1987. ISBN 0-13-484668-0
  • McEliece, R. La teoría de la información y la codificación . Cambridge, 2002. ISBN 978-0521831857
  • Pierce, JR . "Introducción a la teoría de la información: símbolos, señales y ruido". Dover (2.ª edición). 1961 (reimpreso por Dover en 1980).
  • Reza, Fazlollah M. (1994) [1961]. Introducción a la teoría de la información . Nueva York: Dover Publications, Inc. ISBN 0-486-68210-2.
  • Shannon, Claude ; Weaver, Warren (1949). La teoría matemática de la comunicación (PDF) . Urbana, Illinois : University of Illinois Press . ISBN 0-252-72548-4. LCCN 49-11922 . {{cite book}}: Incompatibilidad de ISBN/Fecha ( ayuda )
  • Stone, JV. Capítulo 1 del libro "Teoría de la información: una introducción didáctica" , Universidad de Sheffield, Inglaterra, 2014. ISBN 978-0956372857.
  • Yeung, RW. Un primer curso de teoría de la información. Archivado el 15 de junio de 2006 en Wayback Machine. Kluwer Academic/Plenum Publishers, 2002. ISBN 0-306-46791-7.
  • Yeung, RW. Teoría de la información y codificación de redes. Springer 2008, 2002. ISBN 978-0-387-79233-0

Otros libros

  • Leon Brillouin, Ciencia y teoría de la información , Mineola, NY: Dover, [1956, 1962] 2004. ISBN 0-486-43918-6
  • Gleick, James (2011). La información: una historia, una teoría, una inundación (1.ª  ed.). Nueva York: Pantheon Books. ISBN 978-1-4000-9623-7OCLC 607975727​​ 
  • AI Khinchin, Fundamentos matemáticos de la teoría de la información , Nueva York: Dover, 1957. ISBN 0-486-60434-9
  • HS Leff y AF Rex, editores, El demonio de Maxwell: entropía, información, computación , Princeton University Press, Princeton, Nueva Jersey (1990). ISBN 0-691-08727-X
  • Robert K. Logan . ¿Qué es la información? - Propagación de la organización en la biosfera, la simbología, la tecnosfera y la econosfera , Toronto: DEMO Publishing.
  • Tom Siegfried, El bit y el péndulo , Wiley, 2000. ISBN 0-471-32174-5
  • Charles Seife , Decodificando el universo , Viking, 2006. ISBN 0-670-03441-X
  • Jeremy Campbell, Grammatical Man , Touchstone/Simon & Schuster, 1982, ISBN 0-671-44062-4
  • Henri Theil, Economía y teoría de la información , Rand McNally & Company - Chicago, 1967.
  • Escolano, Suau, Bonev, Teoría de la información en visión por computadora y reconocimiento de patrones , Springer, 2009. ISBN 978-1-84882-296-2
  • Vlatko Vedral, Decodificando la realidad: El universo como información cuántica , Oxford University Press, 2010. ISBN 0-19-923769-7
  • "Información" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
  • Lambert FL (1999), " Cartas barajadas, escritorios desordenados y habitaciones de residencia estudiantil caóticas: ¿ejemplos de aumento de entropía? ¡Tonterías! ", Journal of Chemical Education
  • Sociedad de Teoría de la Información del IEEE Archivado el 1 de agosto de 2019 en Wayback Machine y Monografías, estudios y reseñas de ITSOC Archivado el 12 de junio de 2018 en Wayback Machine
Obtenido de " https://en.wikipedia.org/w/index.php?title=Information_theory&oldid=1360867049 "