La desigualdad de Kullback

En teoría de la información y estadística , la desigualdad de Kullback es una cota inferior para la divergencia de Kullback-Leibler expresada en términos de la función de tasa de grandes desviaciones . ^[¹^] Si P y Q son distribuciones de probabilidad en la recta real , tales que P es absolutamente continua con respecto a Q , es decir, P << Q , y cuyos primeros momentos existen, entonces $D_{KL}(P\parallel Q)\geq \Psi _{Q}^{*}(\mu '_{1}(P)),$ dónde $\Psi _{Q}^{*}$ es la función de tasa, es decir, el conjugado convexo de la función generadora de cumulantes , de $Q$ , y $\mu '_{1}(P)$ es el primer momento de $P.$

La cota de Cramér-Rao es un corolario de este resultado.

Prueba

Sean P y Q distribuciones de probabilidad (medidas) en la recta real, cuyos primeros momentos existen y tales que P << Q . Consideremos la familia exponencial natural de Q dada por $Q_{\theta }(A)={\frac {\int _{A}e^{\theta x}Q(dx)}{\int _{-\infty }^{\infty }e^{\theta x}Q(dx)}}={\frac {1}{M_{Q}(\theta )}}\int _{A}e^{\theta x}Q(dx)$ para cada conjunto medible A , donde $M_{Q}$ es la función generadora de momentos de Q. (Nótese que Q ₀ = Q .) Entonces $D_{KL}(P\parallel Q)=D_{KL}(P\parallel Q_{\theta })+\int _{\operatorname {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P.$ Por la desigualdad de Gibbs tenemos $D_{KL}(P\parallel Q_{\theta })\geq 0$ de modo que $D_{KL}(P\parallel Q)\geq \int _{\operatorname {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P=\int _{\operatorname {supp} P}\left(\log {\frac {e^{\theta x}}{M_{Q}(\theta )}}\right)P(dx)$ Simplificando el lado derecho, tenemos, para cada θ real donde ${\displaystyle M_{Q}(\theta )<\infty$ $D_{KL}(P\parallel Q)\geq \mu '_{1}(P)\theta -\Psi _{Q}(\theta),$ dónde $\mu '_{1}(P)$ es el primer momento, o media, de P y $\Psi _{Q}=\log M_{Q}$ Se denomina función generadora de cumulantes . Tomar el supremo completa el proceso de conjugación convexa y produce la función de tasa : $D_{KL}(P\parallel Q)\geq \sup _{\theta }\left\{\mu '_{1}(P)\theta -\Psi _{Q}(\theta )\right\}=\Psi _{Q}^{*}(\mu '_{1}(P)).$

Corolario: el vínculo Cramér-Rao

Comencemos con la desigualdad de Kullback.

Sea X _θ una familia de distribuciones de probabilidad en la recta real indexada por el parámetro real θ, y que satisface ciertas condiciones de regularidad . Entonces $\lim _{h\to 0}{\frac {D_{KL}(X_{\theta +h}\parallel X_{\theta })}{h^{2}}}\geq \lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}},$

dónde $\Psi _{\theta }^{*}$ es el conjugado convexo de la función generadora de cumulantes de $X_{\theta }$ y $\mu _{\theta +h}$ es el primer momento de $X_{\theta +h}.$

lado izquierdo

El lado izquierdo de esta desigualdad se puede simplificar de la siguiente manera: ${\begin{aligned}\lim _{h\to 0}{\frac {D_{KL}(X_{\theta +h}\parallel X_{\theta })}{h^{2}}}&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta +h}}{\mathrm {d} X_{\theta }}}\right)\mathrm {d} X_{\theta +h}\\&=-\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)\mathrm {d} X_{\theta +h}\\&=-\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left(1-\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)\right)\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)+{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}+o\left(\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right)\right]\mathrm {d} X_{\theta +h}&&{\text{Taylor series for }}\log(1-t)\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left({\frac {\mathrm {d} X_{\theta +h}-\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&={\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\end{aligned}}$ que es la mitad de la información de Fisher del parámetro θ .

lado derecho

El lado derecho de la desigualdad se puede desarrollar de la siguiente manera: $\lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}=\lim _{h\to 0}{\frac {1}{h^{2}}}{\sup _{t}\{\mu _{\theta +h}t-\Psi _{\theta }(t)\}}.$ Este supremo se alcanza en un valor de t =τ donde la primera derivada de la función generadora de cumulantes es $\Psi '_{\theta }(\tau )=\mu _{\theta +h},$ pero tenemos $\Psi '_{\theta }(0)=\mu _{\theta },$ de modo que $\Psi ''_{\theta }(0)={\frac {d\mu _{\theta }}{d\theta }}\lim _{h\to 0}{\frac {h}{\tau }}.$ Además, $\lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}={\frac {1}{2\Psi ''_{\theta }(0)}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}={\frac {1}{2\operatorname {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}.$

Reconstruyendo ambos lados

Tenemos: ${\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\geq {\frac {1}{2\operatorname {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2},$ que se puede reorganizar como: $\operatorname {Var} (X_{\theta })\geq {\frac {(d\mu _{\theta }/d\theta )^{2}}{{\mathcal {I}}_{X}(\theta )}}.$

Véase también

Notas y referencias

^ Fuchs, Aimé; Letta, Giorgio (1970). "L'inégalité de Kullback. Aplicación a la teoría de la estimación" . Séminaire de Probabilités de Estrasburgo . Seminario de probabilidades. 4 . Estrasburgo: 108-131 .

[1] Fuchs, Aimé; Letta, Giorgio (1970). "L'inégalité de Kullback. Aplicación a la teoría de la estimación" . Séminaire de Probabilités de Estrasburgo . Seminario de probabilidades. 4 . Estrasburgo: 108-131 .

[