Desigualdad de suma logarítmica

La desigualdad de suma logarítmica se utiliza para demostrar teoremas en la teoría de la información .

Sean y números no negativos. Denotemos la suma de todos los s por y la suma de todos los s por . La desigualdad de suma logarítmica establece que ${\displaystyle a_{1},\ldots ,a_{n}}$${\displaystyle b_{1},\ldots ,b_{n}}$$Estilo de visualización ai$${\estilo de visualización a}$$Estilo de visualización b_{i}$${\estilo de visualización b}$

${\displaystyle \sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},}$

con igualdad si y sólo si son iguales para todos , es decir para todos . ^[1]${\displaystyle {\frac {a_{i}}{b_{i}}}}$${\estilo de visualización i}$${\displaystyle a_{i}=cb_{i}}$${\estilo de visualización i}$

(Tome como si y si . Estos son los valores límite obtenidos cuando el número relevante tiende a .) ^[1]${\displaystyle a_{i}\log {\frac {a_{i}}{b_{i}}}}$${\estilo de visualización 0}$${\displaystyle a_{i}=0}$${\estilo de visualización\infty}$${\displaystyle a_{i}>0,b_{i}=0}$${\estilo de visualización 0}$

Tenga en cuenta que después de la configuración tenemos ${\displaystyle f(x)=x\log x}$

${\displaystyle {\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}}$

donde la desigualdad se deduce de la desigualdad de Jensen ya que , , y es convexa. ^[1]${\displaystyle {\frac {b_{i}}{b}}\geq 0}$${\displaystyle \sum _{i=1}^{n}{\frac {b_{i}}{b}}=1}$${\displaystyle f}$

La desigualdad sigue siendo válida siempre que y . ^{[ cita requerida ]} La prueba anterior es válida para cualquier función que sea convexa, como todas las funciones continuas no decrecientes. En Csiszár, 2004 se ofrecen generalizaciones para funciones no decrecientes distintas del logaritmo. ${\displaystyle n=\infty }$${\displaystyle a<\infty }$${\displaystyle b<\infty }$${\displaystyle g}$${\displaystyle f(x)=xg(x)}$

Otra generalización se debe a Dannan, Neff y Thiel, quienes demostraron que si y son números reales positivos con y , y , entonces . ^[2]${\displaystyle a_{1},a_{2}\cdots a_{n}}$${\displaystyle b_{1},b_{2}\cdots b_{n}}$${\displaystyle a_{1}+a_{2}\cdots +a_{n}=a}$${\displaystyle b_{1}+b_{2}\cdots +b_{n}=b}$${\displaystyle k\geq 0}$${\displaystyle \sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}+k\right)\geq a\log \left({\frac {a}{b}}+k\right)}$

La desigualdad de la suma logarítmica se puede utilizar para demostrar desigualdades en la teoría de la información. La desigualdad de Gibbs establece que la divergencia de Kullback-Leibler no es negativa y es igual a cero precisamente si sus argumentos son iguales. ^[3] Una prueba utiliza la desigualdad de la suma logarítmica.

La desigualdad también puede demostrar la convexidad de la divergencia de Kullback-Leibler. ^[4]

• Portada, Thomas M.; Thomas, Joy A. (1991). Elementos de la teoría de la información . Hoboken, Nueva Jersey: Wiley. ISBN 978-0-471-24195-9.
• Csiszár, I. ; Shields, P. (2004). "Teoría de la información y estadística: un tutorial" (PDF) . Fundamentos y tendencias en la teoría de la información y las comunicaciones . 1 (4): 417–528. doi :10.1561/0100000004 . Consultado el 14 de junio de 2009 .
• TS Han, K. Kobayashi, Matemáticas de la información y codificación. American Mathematical Society, 2001. ISBN 0-8218-0534-7 . 
• Materiales del curso de teoría de la información, Universidad Estatal de Utah [1]. Recuperado el 14 de junio de 2009.
• MacKay, David JC (2003). Teoría de la información, inferencia y algoritmos de aprendizaje. Cambridge University Press. ISBN 0-521-64298-1.