Hispanopedia Wiki
Articulo de referencia

Información dirigida

La información dirigida es una medida de la teoría de la información que cuantifica el flujo de información desde una cadena aleatoria. incógnita norte = ( incógnita 1 , incógni...

Hispanopedia WikiContenido en espanolLectura gratuita

La información dirigida es una medida de la teoría de la información que cuantifica el flujo de información desde una cadena aleatoria. incógnitanorte=(incógnita1,incógnita2,…,incógnitanorte){\displaystyle X^{n}=(X_{1},X_{2},\dots ,X_{n})}a la cadena aleatoriaYnorte=(Y1,Y2,…,Ynorte){\displaystyle Y^{n}=(Y_{1},Y_{2},\dots,Y_{n})}. El término información dirigida fue acuñado por James Massey y se define como [ 1 ]

I(incógnitanorte→Ynorte)≜∑i=1norteI(incógnitai;Yi|Yi−1){\displaystyle I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}

dóndeI(incógnitai;Yi|Yi−1){\displaystyle I(X^{i};Y_{i}|Y^{i-1})}es la información mutua condicionalI(incógnita1,incógnita2,...,incógnitai;Yi|Y1,Y2,...,Yi−1){\displaystyle I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}.

La información dirigida tiene aplicaciones a problemas donde la causalidad juega un papel importante, como la capacidad de canales con retroalimentación , [ 1 ] [ 2 ] [ 3 ] [ 4 ] capacidad de redes discretas sin memoria , [ 5 ] capacidad de redes con memoria en bloque, [ 6 ] juegos de azar con información causal lateral, [ 7 ] compresión con información causal lateral, [ 8 ] configuraciones de comunicación de control en tiempo real , [ 9 ] [ 10 ] [ 11 ] y física estadística. [ 12 ]

Condicionamiento causal

La esencia de la información dirigida es el condicionamiento causal . La probabilidad deincógnitanorte{\displaystyle x^{n}}condicionado causalmente en ynorte{\displaystyle y^{n}}se define como [ 5 ]

PAG(incógnitanorte||ynorte)≜∏i=1nortePAG(incógnitai|incógnitai−1,yi){\displaystyle P(x^{n}||y^{n})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i})}.

Esto es similar a la regla de la cadena para el acondicionamiento convencional.PAG(incógnitanorte|ynorte)=∏i=1nortePAG(incógnitai|incógnitai−1,ynorte){\displaystyle P(x^{n}|y^{n})=\prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{n})}excepto una condición sobre los símbolos "pasados" y "presentes"yi{\displaystyle y^{i}}en lugar de todos los símbolosynorte{\displaystyle y^{n}}Para incluir solo símbolos "pasados", se puede introducir un retardo anteponiendo un símbolo constante:

PAG(incógnitanorte||(0,ynorte−1))≜∏i=1nortePAG(incógnitai|incógnitai−1,yi−1){\displaystyle P(x^{n}||(0,y^{n-1}))\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i-1})}.

Es común abusar de la notación escribiendoPAG(incógnitanorte||ynorte−1){\displaystyle P(x^{n}||y^{n-1})}para esta expresión, aunque formalmente todas las cadenas deberían tener el mismo número de símbolos.

También se puede condicionar a múltiples cadenas:PAG(incógnitanorte||ynorte,znorte)≜∏i=1nortePAG(incógnitai|incógnitai−1,yi,zi){\displaystyle P(x^{n}||y^{n},z^{n})\triangleq \prod _{i=1}^{n}P(x_{i}|x^{i-1},y^{i},z^{i})}.

Entropía condicionada causalmente

La entropía condicionada causalmente se define como: [ 2 ]

H(incógnitanorte||Ynorte)=mi[−registro⁡PAG(incógnitanorte||Ynorte)]=∑i=1norteH(incógnitai|incógnitai−1,Yi){\displaystyle H(X^{n}||Y^{n})=\mathbf {E} \left[-\log {P(X^{n}||Y^{n})}\right]=\sum _{i=1}^{n}H(X_{i}|X^{i-1},Y^{i})}

De manera similar, se puede condicionar causalmente sobre múltiples cadenas y escribir H(incógnitanorte||Ynorte,Znorte)=mi[−registro⁡PAG(incógnitanorte||Ynorte,Znorte)]{\displaystyle H(X^{n}||Y^{n},Z^{n})=\mathbf {E} \left[-\log {P(X^{n}||Y^{n},Z^{n})}\right]}.

Propiedades

Una regla de descomposición para el condicionamiento causal [ 1 ] es

PAG(incógnitanorte,ynorte)=PAG(incógnitanorte||ynorte−1)PAG(ynorte||incógnitanorte){\displaystyle P(x^{n},y^{n})=P(x^{n}||y^{n-1})P(y^{n}||x^{n})}.

Esta regla muestra que cualquier producto dePAG(incógnitanorte||ynorte−1),PAG(ynorte||incógnitanorte){\displaystyle P(x^{n}||y^{n-1}),P(y^{n}||x^{n})}proporciona una distribución conjuntaPAG(incógnitanorte,ynorte){\displaystyle P(x^{n},y^{n})}.

La probabilidad de condicionamiento causalPAG(ynorte||incógnitanorte)=∏i=1nortePAG(yi|yi−1,incógnitai){\displaystyle P(y^{n}||x^{n})=\prod _{i=1}^{n}P(y_{i}|y^{i-1},x^{i})}es un vector de probabilidad , es decir,

PAG(ynorte||incógnitanorte)≥0y∑ynortePAG(ynorte||incógnitanorte)=1a pesar de (incógnitanorte,ynorte){\displaystyle P(y^{n}||x^{n})\geq 0\quad {\text{y}}\quad \sum _{y^{n}}P(y^{n}||x^{n})=1\quad {\text{para todo }}(x^{n},y^{n})}.

La información dirigida puede escribirse en términos de condicionamiento causal: [ 2 ]

I(incógnitanorte→Ynorte)=mi[registro⁡PAG(Ynorte||incógnitanorte)PAG(Ynorte)]=H(Ynorte)−H(Ynorte||incógnitanorte){\displaystyle I(X^{N}\rightarrow Y^{N})=\mathbf {E} \left[\log {\frac {P(Y^{N}||X^{N})}{P(Y^{N})}}\right]=H(Y^{n})-H(Y^{n}||X^{n})}.

La relación se generaliza a tres cadenas: la información dirigida que fluye desdeincógnitanorte{\displaystyle X^{n}}aYnorte{\displaystyle Y^{n}}condicionado causalmente enZnorte{\displaystyle Z^{n}}es

I(incógnitanorte→Ynorte||Znorte)=H(Ynorte||Znorte)−H(Ynorte||incógnitanorte,Znorte){\displaystyle I(X^{n}\to Y^{n}||Z^{n})=H(Y^{n}||Z^{n})-H(Y^{n}||X^{n},Z^{n})}.

Derecho de conservación de la información

Esta ley, establecida por James Massey y su hijo Peter Massey, [ 13 ] proporciona intuición al relacionar información dirigida e información mutua. La ley establece que para cualquierincógnitanorte,Ynorte{\displaystyle X^{n},Y^{n}}Se cumple la siguiente igualdad:

I(incógnitanorte;Ynorte)=I(incógnitanorte→Ynorte)+I(Ynorte−1→incógnitanorte).{\displaystyle I(X^{n};Y^{n})=I(X^{n}\to Y^{n})+I(Y^{n-1}\to X^{n}).}

Dos formas alternativas de esta ley son [ 2 ] [ 14 ]

I(incógnitanorte;Ynorte)=I(incógnitanorte→Ynorte)+I(Ynorte→incógnitanorte)−I(incógnitanorte↔Ynorte){\displaystyle I(X^{n};Y^{n})=I(X^{n}\to Y^{n})+I(Y^{n}\to X^{n})-I(X^{n}\leftrightarrow Y^{n})}
I(incógnitanorte;Ynorte)=I(incógnitanorte−1→Ynorte)+I(Ynorte−1→incógnitanorte)+I(incógnitanorte↔Ynorte){\displaystyle I(X^{n};Y^{n})=I(X^{n-1}\to Y^{n})+I(Y^{n-1}\to X^{n})+I(X^{n}\leftrightarrow Y^{n})}

dóndeI(incógnitanorte↔Ynorte)=∑i=1norteI(incógnitai;Yi|incógnitai−1,Yi−1){\displaystyle I(X^{n}\leftrightarrow Y^{n})=\sum _{i=1}^{n}I(X_{i};Y_{i}|X^{i-1},Y^{i-1})}.

Estimación y optimización

Estimar y optimizar la información dirigida es un desafío porque tienenorte{\displaystyle n}términos dondenorte{\displaystyle n}puede ser grande. En muchos casos, uno está interesado en optimizar el promedio límite, es decir, cuandonorte{\displaystyle n}crece hasta el infinito, lo que se denomina una expresión de varias letras.

Estimación

Estimar la información dirigida a partir de muestras es un problema difícil ya que la expresión de la información dirigida no depende de las muestras sino de la distribución conjunta. {PAG(incógnitai,yi|incógnitai−1,yi−1)i=1norte}{\displaystyle \{P(x_{i},y_{i}|x^{i-1},y^{i-1})_{i=1}^{n}\}}que puede ser desconocido. Hay varios algoritmos basados ​​en ponderación de árboles de contexto [ 15 ] y distribuciones paramétricas empíricas [ 16 ] y que utilizan memoria a corto y largo plazo . [ 17 ]

Mejoramiento

Maximizar la información dirigida es un problema fundamental en la teoría de la información. Por ejemplo, dadas las distribuciones de canales{PAG(yi|incógnitai,yi−1}i=1norte){\displaystyle \{P(y_{i}|x^{i},y^{i-1}\}_{i=1}^{n})}, el objetivo podría ser optimizarI(incógnitanorte→Ynorte){\displaystyle I(X^{n}\to Y^{n})}sobre las distribuciones de entrada del canal{PAG(incógnitai|incógnitai−1,yi−1}i=1norte){\displaystyle \{P(x_{i}|x^{i-1},y^{i-1}\}_{i=1}^{n})}.

Hay algoritmos para optimizar la información dirigida basada en Blahut-Arimoto , [ 18 ] proceso de decisión de Markov , [ 19 ] [ 20 ] [ 21 ] [ 22 ] [ 23 ] red neuronal recurrente , [ 17 ] aprendizaje por refuerzo . [ 24 ] y métodos gráficos (los Q-grafos) . [ 25 ] [ 26 ] [ 23 ] Para el algoritmo de Blahut-Arimoto , [ 18 ] la idea principal es comenzar con la última información mutua de la expresión de información dirigida y retroceder. Para el proceso de decisión de Markov , [ 19 ] [ 20 ] [ 21 ] [ 22 ] la idea principal es transformar la optimización en un proceso de decisión de Markov de recompensa promedio de horizonte infinito . Para una red neuronal recurrente , [ 17 ] la idea principal es modelar la distribución de entrada usando una red neuronal recurrente y optimizar los parámetros usando descenso de gradiente . Para el aprendizaje por refuerzo , [ 24 ] la idea principal es resolver la formulación del proceso de decisión de Markov de la capacidad usando herramientas de aprendizaje por refuerzo , lo que permite trabajar con alfabetos grandes o incluso continuos.

La teoría de Marko sobre la comunicación bidireccional

La información dirigida de Massey estuvo motivada por el trabajo inicial de Marko (1966) sobre el desarrollo de una teoría de la comunicación bidireccional. [ 27 ] [ 28 ] La definición de transinformación dirigida de Marko difiere ligeramente de la de Massey en que, en el momentonorte{\displaystyle n}, una condición sobre símbolos pasadosincógnitanorte−1,Ynorte−1{\displaystyle X^{n-1},Y^{n-1}}Solo y uno toma límites:

T12=límitenorte→∞mi[−registro⁡PAG(incógnitanorte|incógnitanorte−1)PAG(incógnitanorte|incógnitanorte−1,Ynorte−1)]yT21=límitenorte→∞mi[−registro⁡PAG(Ynorte|Ynorte−1)PAG(Ynorte|Ynorte−1,incógnitanorte−1)].{\displaystyle T_{12}=\lim _{n\to \infty }\mathbf {E} \left[-\log {\frac {P(X_{n}|X^{n-1})}{P(X_{n}|X^{n-1},Y^{n-1})}}\right]\quad {\text{y}}\quad T_{21}=\lim _{n\to \infty }\mathbf {E} \left[-\log {\frac {P(Y_{n}|Y^{n-1})}{P(Y_{n}|Y^{n-1},X^{n-1})}}\right].}

Marko definió varias otras cantidades, entre ellas:

  • Información completa:H1=límitenorte→∞mi[−registro⁡PAG(incógnitanorte|incógnitanorte−1)]{\displaystyle H_{1}=\lim _{n\to \infty }\mathbf {E} \left[-\log P(X_{n}|X^{n-1})\right]}yH2=límitenorte→∞mi[−registro⁡PAG(Ynorte|Ynorte−1)]{\displaystyle H_{2}=\lim _{n\to \infty }\mathbf {E} \left[-\log P(Y_{n}|Y^{n-1})\right]}
  • Información gratuita:F1=límitenorte→∞mi[−registro⁡PAG(incógnitanorte|incógnitanorte−1,Ynorte−1)]{\displaystyle F_{1}=\lim _{n\to \infty }\mathbf {E} \left[-\log P(X_{n}|X^{n-1},Y^{n-1})\right]}yF2=límitenorte→∞mi[−registro⁡PAG(Ynorte|Ynorte−1,incógnitanorte−1)]{\displaystyle F_{2}=\lim _{n\to \infty }\mathbf {E} \left[-\log P(Y_{n}|Y^{n-1},X^{n-1})\right]}
  • Coincidencia:K=límitenorte→∞mi[−registro⁡PAG(incógnitanorte|incógnitanorte−1)PAG(Ynorte|Ynorte−1)PAG(incógnitanorte,Ynorte|incógnitanorte−1,Ynorte−1)].{\displaystyle K=\lim _{n\to \infty }\mathbf {E} \left[-\log {\frac {P(X_{n}|X^{n-1})P(Y_{n}|Y^{n-1})}{P(X_{n},Y_{n}|X^{n-1},Y^{n-1})}}\right].}

La información total se suele denominar tasa de entropía . Marko mostró las siguientes relaciones para los problemas que le interesaban:

  • K=T12+T21{\displaystyle K=T_{12}+T_{21}}
  • H1=T12+F1{\displaystyle H_{1}=T_{12}+F_{1}}yH2=T21+F2{\displaystyle H_{2}=T_{21}+F_{2}}

También definió cantidades que denominó entropías residuales :

  • R1=H1−K=F1−T21{\displaystyle R_{1}=H_{1}-K=F_{1}-T_{21}}
  • R2=H2−K=F2−T12{\displaystyle R_{2}=H_{2}-K=F_{2}-T_{12}}

y desarrolló la ley de conservaciónF1+F2=R1+R2+K=H1+H2−K{\displaystyle F_{1}+F_{2}=R_{1}+R_{2}+K=H_{1}+H_{2}-K}y varios saltos.

Relación con la entropía de transferencia

La información dirigida está relacionada con la entropía de transferencia , que es una versión truncada de la transinformación dirigida de Marko.T21{\displaystyle T_{21}}.

La entropía de transferencia en el tiempoi{\displaystyle i}y con memoriad{\displaystyle d}es

Tincógnita→Y=I(incógnitai−d,…,incógnitai−1;Yi|Yi−d,…,Yi−1).{\displaystyle T_{X\to Y}=I(X_{i-d},\dots ,X_{i-1};Y_{i}|Y_{i-d},\dots ,Y_{i-1}).}

donde no se incluye el símbolo presenteincógnitai{\displaystyle X_{i}}o los símbolos del pasadoincógnitai−d−1,Yi−d−1{\displaystyle X^{i-d-1},Y^{i-d-1}}antes del tiempoi−d{\displaystyle i-d}.

La entropía de transferencia generalmente asume estacionariedad, es decir,Tincógnita→Y{\displaystyle T_{X\to Y}}no depende del tiempoi{\displaystyle i}.

Matriz de información (InfoMat)

Visualización de dependencias temporales en InfoMat. Las capacidades de visualización se demuestran mediante un sencillo par de procesos gaussianos. La figura de la izquierda muestra ejemplos representativos del proceso, mientras que la de la derecha presenta el InfoMat correspondiente.

La matriz de información (InfoMat) es una representación matricial introducida como una herramienta de visualización y análisis para la transferencia de información en sistemas secuenciales. Para dos secuenciasincógnitanorte{\displaystyle X^{n}}yYnorte{\displaystyle Y^{n}}, InfoMat organiza los términos de información mutua condicionalI(incógnitai;Yj∣incógnitai−1,Yj−1){\displaystyle I(X_{i};Y_{j}\mid X^{i-1},Y^{j-1})}en unnorte×norte{\displaystyle n\times n}matriz, que captura la descomposición completa de la información mutua a lo largo del tiempo. Dentro de esta representación, la información dirigidaI(incógnitanorte→Ynorte){\displaystyle I(X^{n}\to Y^{n})}corresponde a la suma de una submatriz triangular, lo que proporciona una interpretación visual directa del flujo de información causal. El marco InfoMat unifica la información dirigida, la entropía de transferencia y las leyes de conservación de información relacionadas, y permite su interpretación a través de la estructura matricial y las visualizaciones de mapas de calor. [ 29 ]

Referencias

  1. 1 2 3 Massey, James (1990). "Causalidad, retroalimentación e información dirigida". Actas del Simposio Internacional de 1990 sobre Teoría de la Información y sus Aplicaciones, Waikiki, Hawái, 27-30 de noviembre de 1990 .
  2. 1 2 3 4 Kramer, Gerhard (1998). Información dirigida para canales con retroalimentación (Tesis doctoral). ETH Zurich. doi : 10.3929/ethz-a-001988524 . hdl : 20.500.11850/143796 .
  3. ↑ Tatikonda, Sekhar Chandra (2000). Control bajo restricciones de comunicación (Tesis doctoral). Instituto Tecnológico de Massachusetts. hdl : 1721.1/16755 .
  4. ↑ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (febrero de 2009). "Finite State Channels With Time-Invariant Deterministic Feedback". IEEE Transactions on Information Theory . 55 (2): 644– 662. arXiv : cs/0608070 . Bibcode : 2009ITIT...55..644P . doi : 10.1109/TIT.2008.2009849 . S2CID 13178 . 
  5. 1 2 Kramer, G. (enero de 2003). "Resultados de capacidad para la red discreta sin memoria". IEEE Transactions on Information Theory . 49 (1): 4– 21. Bibcode : 2003ITIT...49....4K . doi : 10.1109/TIT.2002.806135 .
  6. ↑ Kramer, Gerhard (abril de 2014). "Redes de información con memoria en bloque". IEEE Transactions on Information Theory . 60 (4): 2105– 2120. arXiv : 1206.5389 . Bibcode : 2014ITIT...60.2105K . doi : 10.1109/TIT.2014.2303120 . S2CID 16382644 . 
  7. ↑ Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (junio de 2011). "Interpretaciones de información dirigida en la teoría de carteras, compresión de datos y prueba de hipótesis". IEEE Transactions on Information Theory . 57 (6): 3248– 3259. arXiv : 0912.4872 . Bibcode : 2011ITIT...57.3248P . doi : 10.1109/TIT.2011.2136270 . S2CID 11722596 . 
  8. ↑ Simeone, Osvaldo; Permuter, Haim Henri (junio de 2013). "Codificación de fuente cuando la información lateral puede retrasarse". IEEE Transactions on Information Theory . 59 (6): 3607– 3618. arXiv : 1109.1293 . Bibcode : 2013ITIT...59.3607S . doi : 10.1109/TIT.2013.2248192 . S2CID 3211485 . 
  9. ↑ Sabag, Oron; Tian, ​​Peida; Kostina, Victoria; Hassibi, Babak (septiembre de 2023). "Reducción del costo de LQG con comunicación mínima". IEEE Transactions on Automatic Control . 68 (9): 5258– 5270. arXiv : 2109.12246 . Bibcode : 2023ITAC...68.5258S . doi : 10.1109/TAC.2022.3220511 . ISSN 0018-9286 . 
  10. ↑ Charalambous, Charalambos D.; Stavrou, Photios A. (agosto de 2016). "Información dirigida en espacios abstractos: propiedades e igualdades variacionales". IEEE Transactions on Information Theory . 62 (11): 6019– 6052. arXiv : 1302.3971 . Bibcode : 2016ITIT...62.6019C . doi : 10.1109/TIT.2016.2604846 . S2CID 8107565 . 
  11. ↑ Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (enero de 2018). "Control LQG con información dirigida mínima: enfoque de programación semidefinida" . IEEE Transactions on Automatic Control . 63 (1): 37– 52. arXiv : 1510.04214 . Bibcode : 2018ITAC...63...37T . doi : 10.1109/TAC.2017.2709618 . S2CID 1401958 . 
  12. ↑ Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 de abril de 2016). "Analogía entre el juego y la extracción de trabajo basada en mediciones". Journal of Statistical Mechanics: Theory and Experiment . 2016 (4) 043403. arXiv : 1404.6788 . Bibcode : 2016JSMTE..04.3403V . doi : 10.1088/1742-5468/2016/04/043403 . S2CID 124719237 . 
  13. ↑ Massey, JL; Massey, PC (septiembre de 2005). «Conservación de la información mutua y dirigida». Actas del Simposio Internacional sobre Teoría de la Información, 2005. ISIT 2005. págs. 157–158 . doi : 10.1109/ISIT.2005.1523313 . ISBN  0-7803-9151-9. S2CID 38053218 . 
  14. ↑ Amblard, Pierre-Olivier; Michel, Olivier (28 de diciembre de 2012). "La relación entre la causalidad de Granger y la teoría de la información dirigida: una revisión" . Entropy . 15 (1): 113– 143. arXiv : 1211.3169 . Bibcode : 2012Entrp..15..113A . doi : 10.3390/e15010113 .
  15. ↑ Jiao, Jiantao; Permuter, Haim H.; Zhao, Lei; Kim, Young-Han; Weissman, Tsachy (octubre de 2013). "Estimación universal de información dirigida". IEEE Transactions on Information Theory . 59 (10): 6220– 6242. arXiv : 1201.2334 . Bibcode : 2013ITIT...59.6220J . doi : 10.1109/TIT.2013.2267934 . S2CID 10855063 . 
  16. ↑ Quinn, Christopher J.; Kiyavash, Negar; Coleman, Todd P. (diciembre de 2015). "Directed Information Graphs". IEEE Transactions on Information Theory . 61 (12): 6887– 6909. arXiv : 1204.2003 . Bibcode : 2015ITIT...61.6887Q . doi : 10.1109/TIT.2015.2478440 . S2CID 3121664 . 
  17. 1 2 3 Aharoni, Ziv; Tsur, Dor; Goldfeld, Ziv; Permuter, Haim Henry (junio de 2020). "Capacidad de canales continuos con memoria mediante un estimador neuronal de información dirigida". Simposio Internacional IEEE de Teoría de la Información (ISIT) de 2020. págs. 2014–2019 . arXiv : 2003.04179 . doi : 10.1109/ISIT44484.2020.9174109 . ISBN  978-1-7281-6432-8. S2CID 212634151 . 
  18. 1 2 Naiss, Iddo; Permuter, Haim H. (enero de 2013). "Extensión del algoritmo de Blahut-Arimoto para maximizar la información dirigida". IEEE Transactions on Information Theory . 59 (1): 204– 222. arXiv : 1012.5071 . Bibcode : 2013ITIT...59..204N . doi : 10.1109/TIT.2012.2214202 . S2CID 3115749 . 
  19. 1 2 Permuter, Haim; Cuff, Paul; Van Roy, Benjamin; Weissman, Tsachy (julio de 2008). "Capacidad del canal de puerta trasera con retroalimentación". IEEE Transactions on Information Theory . 54 (7): 3150– 3165. arXiv : cs/0610047 . Bibcode : 2008ITIT...54.3150P . doi : 10.1109/TIT.2008.924681 . S2CID 1265 . 
  20. 1 2 Elishco, Ohad; Permuter, Haim (septiembre de 2014). "Capacity and Coding for the Ising Channel With Feedback". IEEE Transactions on Information Theory . 60 (9): 5138– 5149. arXiv : 1205.4674 . Bibcode : 2014ITIT...60.5138E . doi : 10.1109/TIT.2014.2331951 . S2CID 9761759 . 
  21. 1 2 Sabag, Oron; Permuter, Haim H.; Kashyap, Navin (enero de 2016). "La capacidad de retroalimentación del canal de borrado binario con una restricción de entrada de unos no consecutivos". IEEE Transactions on Information Theory . 62 (1): 8– 22. Bibcode : 2016ITIT...62....8S . doi : 10.1109/TIT.2015.2495239 . S2CID 476381 . 
  22. 1 2 Peled, Ori; Sabag, Oron; Permuter, Haim H. (julio de 2019). "Capacidad de retroalimentación y codificación para el BEC con restricción de entrada $(0,k)$-RLL". IEEE Transactions on Information Theory . 65 (7): 4097– 4114. arXiv : 1712.02690 . doi : 10.1109/TIT.2019.2903252 . S2CID 86582654 . 
  23. 1 2 Shemuel, Eli; Sabag, Oron; Permuter, Haim H. (marzo de 2024). "Canales de estado finito con retroalimentación y estado conocido en el codificador". IEEE Transactions on Information Theory . 70 (3): 1610– 1628. arXiv : 2212.12886 . Bibcode : 2024ITIT...70.1610S . doi : 10.1109/TIT.2023.3336939 .
  24. 1 2 Aharoni, Ziv; Sabag, Oron; Permuter, Haim Henri (18 de agosto de 2020). "Evaluación y solución del aprendizaje por refuerzo para la capacidad de retroalimentación del canal de Ising con alfabeto grande". arXiv : 2008.07983 [ cs.IT ].
  25. ↑ Sabag, Oron; Permuter, Haim Henry; Pfister, Henry (marzo de 2017). "Una cota superior de una sola letra para la capacidad de retroalimentación de canales unifilares de estado finito". IEEE Transactions on Information Theory . 63 (3): 1392– 1409. arXiv : 1604.01878 . Bibcode : 2017ITIT...63.1392S . doi : 10.1109/TIT.2016.2636851 . S2CID 3259603 . 
  26. ↑ Sabag, Oron; Huleihel, Bashar; Permuter, Haim Henry (2020). "Codificadores basados ​​en grafos y su rendimiento para canales de estados finitos con retroalimentación". IEEE Transactions on Communications . 68 (4): 2106– 2117. arXiv : 1907.08063 . Bibcode : 2020ITCom..68.2106S . doi : 10.1109/TCOMM.2020.2965454 . S2CID 197544824 . 
  27. ^ Marko, Hans (1 de septiembre de 1966). "Die Theorie der bidirektionalen Kommunikation und ihre Anwendung auf die Nachrichtenübermittlung zwischen Menschen (Información subjetiva)" . Kybernetik (en alemán). 3 (3): 128– 136. doi : 10.1007/BF00288922 . ISSN 1432-0770 . PMID 5920460 . S2CID 33275199 .   
  28. ↑ Marko, H. (diciembre de 1973). "La teoría de la comunicación bidireccional: una generalización de la teoría de la información". IEEE Transactions on Communications . 21 (12): 1345– 1351. Bibcode : 1973ITCom..21.1345M . doi : 10.1109/TCOM.1973.1091610 . S2CID 51664185 . 
  29. ↑ Tsur, Dor; Permuter, Haim H. (2025). "InfoMat: Aprovechando la teoría de la información para visualizar y comprender datos secuenciales" . Entropy . 27 ( 4): 357. Bibcode : 2025Entrp..27..357T . doi : 10.3390/e27040357 . PMC 12026351. PMID 40282592 .  
Lecturas relacionadas
6 articulos
Teoría de la informaciónTeoría de la informaciónLa teoría de la información es el estudio matemático de la cuantificación , el almacenamiento y la comunicación de la información . El campo fue es...Mapa parcial de Internet, con nodos que representan direcciones IPInformaciónLa información es un concepto abstracto que se refiere a algo que tiene el poder de informar . En el nivel más fundamental, se refiere a la interpr...James MasseyJames MasseyJames Massey James Lee Massey (11 de febrero de 1934 - 16 de junio de 2013) [1] fue un teórico de la información y criptógrafo estadounidense, prof...Información mutua condicionalInformación mutua condicionalEn la teoría de la probabilidad , particularmente en la teoría de la información , la información mutua condicional [ 1 ] [ 2 ] es, en su forma más...CausalidadLa causalidad es una influencia por la cual un evento , proceso , estado u objeto ( una causa ) contribuye a la producción de otro evento, proceso,...iconoCapacidad del canalEn ingeniería eléctrica , informática y teoría de la información , la capacidad del canal es la velocidad máxima teórica a la que se puede transmit...