entropía de Rényi

En teoría de la información , la entropía de Rényi es una magnitud que generaliza varias nociones de entropía , incluyendo la entropía de Hartley , la entropía de Shannon , la entropía de colisión y la min-entropía . La entropía de Rényi recibe su nombre de Alfréd Rényi , quien buscaba la forma más general de cuantificar la información preservando la aditividad para eventos independientes. ^{[ 1 ] [ 2 ]} En el contexto de la estimación de la dimensión fractal , la entropía de Rényi constituye la base del concepto de dimensiones generalizadas . ^{[ 3 ]}

La entropía de Rényi es importante en ecología y estadística como índice de diversidad . La entropía de Rényi también es importante en información cuántica , donde puede usarse como medida de entrelazamiento . En el modelo de cadena de espín XY de Heisenberg , la entropía de Rényi como función de α puede calcularse explícitamente porque es una función automorfa con respecto a un subgrupo particular del grupo modular . ^{[ 4 ] [ 5 ]} En ciencias de la computación teórica , la min-entropía se usa en el contexto de extractores de aleatoriedad .

Dejar${\displaystyle X}$sea ​​una variable aleatoria discreta con posibles resultados en el conjunto${\displaystyle {\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}}$y probabilidades correspondientes${\displaystyle p_{i}\doteq \Pr(X=x_{i})}$para​${\displaystyle i=1,\dots ,n}$⁠ . Entonces, la entropía de orden de Rényi ⁠${\displaystyle \alpha }$, donde${\displaystyle 0<\alpha <\infty }$y​${\displaystyle \alpha \neq 1}$⁠ , se define como ^{[ 1 ]}$${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log \left(\sum _{i=1}^{n}p_{i}^{\alpha }\right).}$$ Se define con más detalle en${\displaystyle \alpha =0,1,\infty }$como $${\displaystyle \mathrm {H} _{\alpha }(X)=\lim _{\gamma \to \alpha }\mathrm {H} _{\gamma }(X).}$$

La unidad de información resultante está determinada por la base del logaritmo , por ejemplo, Shannon para la base 2 o Nat para la base e . Si las probabilidades son${\displaystyle p_{i}=1/n}$para todos${\displaystyle i=1,\dots ,n}$⁠ , entonces todas las entropías de Rényi de la distribución son iguales: ⁠${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$⁠ . En general, para todas las variables aleatorias discretas ⁠${\displaystyle X}$⁠ ,${\displaystyle \mathrm {H} _ {\alpha }(X)}$es una función no creciente en${\displaystyle \alpha }$.​

Las aplicaciones suelen explotar la siguiente relación entre la entropía de Rényi y la norma α del vector de probabilidades: $${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left({\left\|P\right\|}_{\alpha }\right).}$$ Aquí, la distribución de probabilidad discreta${\displaystyle P=(p_{1},\dots ,p_{n})}$se interpreta como un vector en${\displaystyle \mathbb {R} ^{n}}$con${\displaystyle p_{i}\geq 0}$y${\textstyle \sum _{i=1}^{n}p_{i}=1}$.

La entropía de Rényi para cualquier${\displaystyle \alpha \geq 0}$es cóncava de Schur , una propiedad que puede demostrarse mediante el criterio de Schur-Ostrowski.

Como${\displaystyle \alpha }$A medida que se aproxima a cero, la entropía de Rényi pondera cada vez más todos los eventos con probabilidad distinta de cero de manera más equitativa, independientemente de sus probabilidades. En el límite para ⁠${\displaystyle \alpha \to 0}$⁠ , la entropía de Rényi es simplemente el logaritmo del tamaño del soporte de X. El límite para ${\displaystyle \alpha \to 1}$es la entropía de Shannon . Para${\displaystyle \alpha =2}$, la entropía de Rényi está relacionada con la probabilidad de colisión y la cantidad${\displaystyle 2^{H_{2}}=1/\sum p_{i}^{2}}$Se conoce como la razón de participación, ampliamente utilizada en la física de la materia condensada y la teoría de matrices aleatorias para medir el número efectivo de estados que contribuyen a una distribución.${\displaystyle \alpha }$A medida que tiende al infinito, la entropía de Rényi está cada vez más determinada por los eventos de mayor probabilidad.

Eso${\displaystyle \mathrm {H} _ {\alpha }}$no es creciente en${\displaystyle \alpha }$para cualquier distribución de probabilidades dada${\displaystyle p_{i}}$⁠ , lo cual puede probarse mediante diferenciación, ^{[ 9 ]} como $${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i})={\frac {1}{(1-\alpha )^{2}}}D_{\text{KL}}(z\|p)}$$ que es proporcional a la divergencia de Kullback-Leibler (que siempre es no negativa), donde ${\textstyle z_{i}=p_{i}^{\alpha }/\sum _ {j=1}^{n}p_{j}^{\alpha }}$En particular, es estrictamente positivo excepto cuando la distribución es uniforme.

Al${\displaystyle \alpha \to 1}$límite, tenemos${\textstyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}\to {\frac {1}{2}}\sum _{i}p_{i}{\left(\ln p_{i}+H(p)\right)}^{2}}$.

En casos particulares, las desigualdades también pueden probarse mediante la desigualdad de Jensen : ^{[ 10 ] [ 11 ]}$${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.}$$

Para valores de ⁠${\displaystyle \alpha >1}$⁠ , también se cumplen las desigualdades en la otra dirección. En particular, tenemos ^{[ 12 ] [ 13 ]}$${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.}$$

Por otro lado, la entropía de Shannon${\displaystyle \mathrm {H} _ {1}}$puede ser arbitrariamente alto para una variable aleatoria${\displaystyle X}$que tiene una min-entropía dada. Un ejemplo de esto lo proporciona la secuencia de variables aleatorias.${\displaystyle X_{n}\sim \{0,\ldots ,n\}}$para${\displaystyle n\geq 1}$de tal manera que${\displaystyle P(X_{n}=0)=1/2}$y${\displaystyle P(X_{n}=x)=1/(2n)}$desde${\displaystyle \mathrm {H} _ {\infty }(X_ {n})=\log 2}$pero​${\displaystyle \mathrm {H} _{1}(X_{n})=(\log 2+\log 2n)/2}$.​

Además de las entropías absolutas de Rényi, Rényi también definió un espectro de medidas de divergencia que generalizan la divergencia de Kullback-Leibler . ^{[ 14 ]}

La divergencia de orden de Rényi ⁠${\displaystyle \alpha }$o la divergencia alfa de una distribución P de una distribución Q se definecomo $${\displaystyle {\begin{aligned}D_{\alpha }(P\Vert Q)&={\frac {1}{\alpha -1}}\log \left(\sum _{i=1}^{n}{\frac {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}\right)\\[1ex]&={\frac {1}{\alpha -1}}\log \mathbb {E} _{i\sim p}\left[{\left(p_{i}/q_{i}\right)}^{\alpha -1}\right]\,\end{aligned}}}$$ cuando​${\displaystyle 0<\alpha <\infty }$y​​${\displaystyle \alpha \neq 1}$Podemos definir la divergencia de Rényi para los valores especiales α = 0, 1, ∞ tomando un límite, y en particular el límite α → 1 da la divergencia de Kullback-Leibler.

Algunos casos especiales:

• ⁠${\displaystyle D_{0}(P\Vert Q)=-\log Q(\{i:p_{i}>0\})}$⁠ : menos el logaritmo de la probabilidad bajo Q de que p _i > 0 ;
• ⁠${\displaystyle D_{1/2}(P\Vert Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$⁠ : menos el doble del logaritmo del coeficiente de Bhattacharyya ; ( Nielsen y Boltz (2010) )
• ⁠${\displaystyle D_{1}(P\Vert Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$: la divergencia de Kullback-Leibler ;
• ⁠${\displaystyle D_{2}(P\Vert Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$: el logaritmo de la razón esperada de las probabilidades;
• ⁠${\displaystyle D_{\infty }(P\Vert Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$: el logaritmo de la razón máxima de las probabilidades.

La divergencia de Rényi es, en efecto, una divergencia , lo que significa simplemente que${\displaystyle D_{\alpha }(P\|Q)}$es mayor o igual que cero, y cero solo cuando P = Q. Para cualesquiera distribuciones fijas P y Q , la divergencia de Rényi es no decreciente como función de su orden α , y es continua en el conjunto de α para el cual es finita, ^{[ 14 ] o ,} para mayor brevedad, la información de orden α obtenida si la distribución P se reemplaza por la distribución Q. [ ^{1 ]}

Un par de distribuciones de probabilidad pueden considerarse como un juego de azar en el que una de las distribuciones define las probabilidades oficiales y la otra contiene las probabilidades reales. El conocimiento de las probabilidades reales permite al jugador obtener ganancias del juego. La tasa de ganancia esperada está relacionada con la divergencia de Rényi de la siguiente manera ^{[ 15 ].}$${\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,}$$ dónde${\displaystyle m}$es la distribución que define las probabilidades oficiales (es decir, el "mercado") para el juego,${\displaystyle b}$es la distribución que creen los inversores y${\displaystyle R}$es la aversión al riesgo del inversor (la aversión al riesgo relativa de Arrow-Pratt ).

Si la distribución verdadera es${\displaystyle p}$(no necesariamente coincide con la creencia del inversor )${\displaystyle b}$⁠ ), la tasa realizada a largo plazo converge a la expectativa verdadera que tiene una estructura matemática similar ^{[ 15 ]}$${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$$

El valor${\displaystyle \alpha =1}$⁠ , que da la entropía de Shannon y la divergencia de Kullback-Leibler , es el único valor en el quese cumple exactamente la regla de la cadena de probabilidad condicional :$${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}}$$ para las entropías absolutas, y $${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$$ para las entropías relativas.

Esto último en particular significa que si buscamos una distribución p ( x , a ) que minimice la divergencia de alguna medida previa subyacente m ( x , a ) , y adquirimos nueva información que solo afecta la distribución de a , entonces la distribución de p ( x | a ) permanece m ( x | a ) , sin cambios.

Las demás divergencias de Rényi satisfacen los criterios de ser positivas y continuas, ser invariantes bajo transformaciones de coordenadas biyectivas y combinarse aditivamente cuando A y X son independientes, de modo que si p ( A , X ) = p ( A ) p ( X ) , entonces $${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$$ y $${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).}$$

Las propiedades más fuertes de la${\displaystyle \alpha =1}$Las cantidades permiten definir la información condicional y la información mutua a partir de la teoría de la comunicación.

Las entropías y divergencias de Rényi para una familia exponencial admiten expresiones simples ^{[ 16 ].}$${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}\left[e^{(\alpha -1)k(x)}\right]\right)}$$ y $${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta$$ :\theta ')}{1-\alpha }}} donde $${\displaystyle J_{F,\alpha }(\theta$$ :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')} es una divergencia de diferencia de Jensen.

La entropía de Rényi puede generalizarse al caso cuántico como

${\displaystyle H_{\alpha }(\rho ):={\frac {1}{1-\alpha }}\log \operatorname {tr} (\rho ^{\alpha })}$

dónde${\displaystyle \rho }$es la matriz de densidad normalizada . Su límite como${\displaystyle \alpha \to 1}$es la entropía de von Neumann . ^{[ 17 ]}

La entropía relativa de Rényi (o divergencia) se puede generalizar de dos maneras posibles: la entropía relativa cuántica de Rényi directa

${\displaystyle D_{\alpha }(\rho \|\sigma )={\frac {1}{\alpha -1}}\log \operatorname {tr} (\rho ^{\alpha }\sigma ^{1-\alpha })}$

y la entropía relativa de Rényi intercalada

${\displaystyle {\tilde {D}}_{\alpha }(\rho \|\sigma )={\frac {1}{\alpha -1}}\log \operatorname {tr} \left[\left(\sigma ^{\frac {1-\alpha }{2\alpha }}\rho \sigma ^{\frac {1-\alpha }{2\alpha }}\right)^{\alpha }\right]}$

Ambos convergen a la entropía relativa cuántica en el límite${\displaystyle \alpha \to 1}$Sin embargo, la entropía relativa de Rényi intercalada tiene propiedades más convenientes cuando se utiliza para definir entropías condicionales, ^{[ 17 ]} y ha encontrado aplicaciones en la distribución de claves cuánticas . ^{[ 18 ] [ 19 ]}

Una medida de la magia cuántica es la entropía de Rényi estabilizadora ^{[ 20 ]} de orden α :

${\displaystyle M_{\alpha }={\frac {1}{1-\alpha }}\log \left[{\frac {1}{2^{N}}}\sum _{{\hat {P}}\in \mathbb {P} _{N}}\langle {\hat {P}}\rangle ^{2\alpha }\right]}$

con${\displaystyle {\hat {P}}}$siendo el grupo de Pauli de múltiples cúbits y${\displaystyle \langle {\hat {P}}\rangle =\langle \psi |{\hat {P}}|\psi \rangle }$es un valor esperado (mecánica cuántica) para un${\displaystyle N}$-sistema de cúbits.

Hill (1973) demostró que la exponencial de la entropía de Rényi de orden α define una familia de índices de diversidad de un parámetro , ahora conocidos como números de Hill : ^α D = exp( H _α ). ^{[ 21 ]} Para α = 0, esto da la riqueza de especies (recuento total de especies presentes); para α = 1, la exponencial de la entropía de Shannon ; y para α = 2, el índice inverso de Simpson , que cuenta el número efectivo de especies igualmente comunes. El marco de Hill unifica varias medidas de diversidad previamente dispares como miembros de una sola familia paramétrica, diferenciándose solo en cuánto peso se da a las especies raras frente a las comunes.

• Índices de diversidad
• entropía de Tsallis
• Índice de entropía generalizada