entropía de transferencia

La entropía de transferencia es una estadística no paramétrica que mide la cantidad de transferencia dirigida (asimétrica en el tiempo) de información entre dos procesos aleatorios . ^{[ 1 ] [ 2 ] [ 3 ]} La entropía de transferencia de un proceso X a otro proceso Y es la cantidad de incertidumbre reducida en los valores futuros de Y al conocer los valores pasados ​​de X dados los valores pasados ​​de Y. Más específicamente, si ${\displaystyle X_{t}}$ y ${\displaystyle Y_{t}}$ para ${\displaystyle t\in \mathbb {N} }$ Denotemos dos procesos aleatorios y la cantidad de información se mide utilizando la entropía de Shannon ; la entropía de transferencia se puede escribir como:

${\displaystyle T_{X\rightarrow Y}=H\left(Y_{t}\mid Y_{t-1:tL}\right)-H\left(Y_{t}\mid Y_{t-1:tL},X_{t-1:tL}\right),}$

donde H ( X ) es la entropía de Shannon de X. La definición anterior de entropía de transferencia se ha extendido mediante otros tipos de medidas de entropía , como la entropía de Rényi . ^{[ 3 ] [ 4 ]}

La entropía de transferencia es información mutua condicional , ^{[ 5 ] [ 6 ]} con el historial de la variable influenciada${\displaystyle Y_{t-1:tL}}$en la condición:

${\displaystyle T_{X\rightarrow Y}=I(Y_{t};X_{t-1:tL}\mid Y_{t-1:tL}).}$

La entropía de transferencia se reduce a la causalidad de Granger para procesos autorregresivos vectoriales . ^{[ 7 ]} Por lo tanto, es ventajoso cuando no se cumple el supuesto del modelo de causalidad de Granger, por ejemplo, el análisis de señales no lineales . ^{[ 8 ] [ 9 ]} Sin embargo, generalmente requiere más muestras para una estimación precisa. ^{[ 10 ]} Las probabilidades en la fórmula de entropía se pueden estimar utilizando diferentes enfoques (agrupamiento, vecinos más cercanos) o, para reducir la complejidad, utilizando una incrustación no uniforme. ^{[ 11 ]} Si bien se definió originalmente para el análisis bivariado , la entropía de transferencia se ha extendido a formas multivariadas , ya sea condicionando a otras variables fuente potenciales ^{[ 12 ]} o considerando la transferencia de una colección de fuentes, ^{[ 13 ]} aunque estas formas requieren más muestras nuevamente.

La entropía de transferencia se ha utilizado para la estimación de la conectividad funcional de las neuronas , ^{[ 13 ] [ 14 ] [ 15 ]} la influencia social en las redes sociales ^{[ 8 ]} y la causalidad estadística entre eventos de conflictos armados. ^{[ 16 ]} La entropía de transferencia es una versión finita de la información dirigida que fue definida en 1990 por James Massey ^{[ 17 ]} como ${\displaystyle I(X^{n}\to Y^{n})=\sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}$, dónde${\displaystyle X^{n}}$denota el vector${\displaystyle X_{1},X_{2},...,X_{n}}$y${\displaystyle Y^{n}}$denota${\displaystyle Y_{1},Y_{2},...,Y_{n}}$La información dirigida desempeña un papel importante en la caracterización de los límites fundamentales ( capacidad del canal ) de los canales de comunicación con o sin retroalimentación ^{[ 18 ] [ 19 ]} y en el juego con información lateral causal. ^{[ 20 ]}

• Información dirigida
• Información mutua
• Información mutua condicional
• Causalidad
• Causalidad (física)
• Modelado de ecuaciones estructurales
• Modelo causal de Rubin

• "Caja de herramientas de entropía de transferencia" . Google Code ., una caja de herramientas, desarrollada en C++ y MATLAB , para el cálculo de la entropía de transferencia entre trenes de impulsos.
• "Java Information Dynamics Toolkit (JIDT)" . GitHub . 16 de enero de 2019., una caja de herramientas, desarrollada en Java y utilizable en MATLAB , GNU Octave y Python , para el cálculo de la entropía de transferencia y medidas relacionadas de la teoría de la información tanto en datos discretos como continuos.
• "Caja de herramientas de entropía de transferencia multivariada (MuTE)" . GitHub . 09/01/2019., una caja de herramientas, desarrollada en MATLAB , para el cálculo de la entropía de transferencia con diferentes estimadores.