La desigualdad de Jensen

Para una función convexa real${\displaystyle \varphi }$, números${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$en su dominio y pesos positivos${\displaystyle a_{i}}$La desigualdad de Jensen se puede enunciar como:

y la desigualdad se invierte si${\displaystyle \varphi }$es cóncava , que es

La igualdad se cumple si y solo si${\displaystyle x_{1}=x_{2}=\cdots =x_{n}}$o${\displaystyle \varphi }$es lineal en un dominio que contiene${\displaystyle x_{1},x_{2},\cdots ,x_{n}}$.

Como caso particular, si los pesos${\displaystyle a_{i}}$son todos iguales, entonces ( 1 ) y ( 2 ) se convierten en

Por ejemplo, la función log( x ) es cóncava , por lo que al sustituir${\displaystyle \varphi (x)=\log(x)}$En la fórmula anterior ( 4 ) se establece la desigualdad (logaritmo de la) conocida media aritmética/media geométrica :

$${\displaystyle \log \!\left({\frac {\sum _{i=1}^{n}x_{i}}{n}}\right)\geq {\frac {\sum _{i=1}^{n}\log \!\left(x_{i}\right)}{n}}}$$$${\displaystyle \exp \!\left(\log \!\left({\frac {\sum _{i=1}^{n}x_{i}}{n}}\right)\right)\geq \exp \!\left({\frac {\sum _{i=1}^{n}\log \!\left(x_{i}\right)}{n}}\right)}$$$${\displaystyle {\frac {x_{1}+x_{2}+\cdots +x_{n}}{n}}\geq {\sqrt[{n}]{x_{1}\cdot x_{2}\cdots x_{n}}}}$$

Una aplicación común tiene x como función de otra variable (o conjunto de variables) t , es decir,${\displaystyle x_{i}=g(t_{i})}$Todo esto se traslada directamente al caso continuo general: los pesos a _i se reemplazan por una función integrable no negativa f ( x ) , como una distribución de probabilidad, y las sumas se reemplazan por integrales.

Dejar${\displaystyle (\Omega,A,\mu)}$Sea un espacio de probabilidad .${\displaystyle f:\Omega \to \mathbb {R} }$ser un${\displaystyle \mu }$-función integrable y${\displaystyle \varphi$ :\mathbb {R} \to \mathbb {R} } sea convexo. Entonces: ^{[ 5 ]}$${\displaystyle \varphi \left(\int _{\Omega }f\,\mathrm {d} \mu \right)\leq \int _{\Omega }\varphi \circ f\,\mathrm {d} \mu }$$

En un análisis real , podríamos necesitar una estimación de

${\displaystyle \varphi \left(\int _{a}^{b}f(x)\,dx\right)}$

dónde${\displaystyle a,b\in \mathbb {R} }$, y${\displaystyle f\colon [a,b]\to \mathbb {R} }$es una función integrable de Lebesgue no negativa . En este caso, la medida de Lebesgue de${\displaystyle [a,b]}$no tiene por qué ser 1. Sin embargo, mediante la integración por sustitución, el intervalo puede reescalarse de modo que tenga medida 1. Entonces se puede aplicar la desigualdad de Jensen para obtener ^{[ 6 ].}

${\displaystyle \varphi \left({\frac {1}{b-a}}\int _{a}^{b}f(x)\,dx\right)\leq {\frac {1}{b-a}}\int _{a}^{b}\varphi (f(x))\,dx.}$

El mismo resultado puede expresarse de forma equivalente en el contexto de la teoría de la probabilidad , mediante un simple cambio de notación. Sea${\displaystyle (\Omega ,{\mathfrak {F}},\operatorname {P} )}$Sea X un espacio de probabilidad , X una variable aleatoria integrable de valor real y${\displaystyle \varphi }$una función convexa . Entonces ^{[ 7 ]}$${\displaystyle \varphi {\big (}\operatorname {E} [X]{\big )}\leq \operatorname {E} [\varphi (X)].}$$

En este contexto de probabilidad, la medida μ se entiende como una probabilidad.${\displaystyle \operatorname {P} }$, la integral con respecto a μ como valor esperado${\displaystyle \operatorname {E} }$y la función${\displaystyle f}$como una variable aleatoria X.

Tenga en cuenta que la igualdad se cumple si y solo si${\displaystyle \varphi }$es una función lineal en algún conjunto convexo${\displaystyle A}$de tal manera que${\displaystyle P(X\in A)=1}$(lo cual se deduce al examinar la demostración teórica de la medida que se presenta a continuación).

De forma más general, sea T un espacio vectorial topológico real y X una variable aleatoria integrable con valores en T. En este contexto general, integrable significa que existe un elemento${\displaystyle \operatorname {E} [X]}$en T , de tal manera que para cualquier elemento z en el espacio dual de T :${\displaystyle \operatorname {E} |\langle z,X\rangle |<\infty }$, y${\displaystyle \langle z,\operatorname {E} [X]\rangle =\operatorname {E} [\langle z,X\rangle ]}$. Entonces, para cualquier función convexa medible φ y cualquier sub- σ-álgebra${\displaystyle {\mathfrak {G}}}$de${\displaystyle {\mathfrak {F}}}$:

${\displaystyle \varphi \left(\operatorname {E} \left[X\mid {\mathfrak {G}}\right]\right)\leq \operatorname {E} \left[\varphi (X)\mid {\mathfrak {G}}\right].}$

Aquí${\displaystyle \operatorname {E} [\cdot \mid {\mathfrak {G}}]}$representa la esperanza condicionada al álgebra σ${\displaystyle {\mathfrak {G}}}$. Esta afirmación general se reduce a las anteriores cuando el espacio vectorial topológico T es el eje real y${\displaystyle {\mathfrak {G}}}$es el álgebra σ trivial {∅, Ω} (donde ∅ es el conjunto vacío y Ω es el espacio muestral ). ^{[ 8 ]}

Sea X una variable aleatoria unidimensional con media${\displaystyle \mu }$y varianza${\displaystyle \sigma ^{2}\geq 0}$. Dejar${\displaystyle \varphi (x)}$Sea una función dos veces diferenciable y definamos la función.

${\displaystyle h(x)\triangleq {\frac {\varphi \left(x\right)-\varphi \left(\mu \right)}{\left(x-\mu \right)^{2}}}-{\frac {\varphi '\left(\mu \right)}{x-\mu }}.}$

Entonces ^{[ 9 ]}

${\displaystyle \sigma ^{2}\inf {\frac {\varphi ''(x)}{2}}\leq \sigma ^{2}\inf h(x)\leq E\left[\varphi \left(X\right)\right]-\varphi \left(E[X]\right)\leq \sigma ^{2}\sup h(x)\leq \sigma ^{2}\sup {\frac {\varphi ''(x)}{2}}.}$

En particular, cuando${\displaystyle \varphi (x)}$es convexo, entonces${\displaystyle \varphi ''(x)\geq 0}$y la forma estándar de la desigualdad de Jensen se deduce inmediatamente para el caso en que${\displaystyle \varphi (x)}$Además, se supone que es dos veces diferenciable.

La desigualdad de Jensen se puede demostrar de varias maneras, y se ofrecerán tres demostraciones diferentes correspondientes a las distintas afirmaciones anteriores. Sin embargo, antes de embarcarnos en estas derivaciones matemáticas, vale la pena analizar un argumento gráfico intuitivo basado en el caso probabilístico donde X es un número real (véase la figura). Suponiendo una distribución hipotética de los valores de X , se puede identificar inmediatamente la posición de${\displaystyle \operatorname {E} [X]}$y su imagen${\displaystyle \varphi (\operatorname {E} [X])}$en el gráfico. Observando que para aplicaciones convexas Y = φ ( x ) de algunos valores de x la distribución correspondiente de valores de Y se "estira" cada vez más hacia arriba para valores crecientes de X , es fácil ver que la distribución de Y es más amplia en el intervalo correspondiente a X > X ₀ y más estrecha en X < X ₀ para cualquier X ₀ ; en particular, esto también es cierto para${\displaystyle X_{0}=\operatorname {E} [X]}$. En consecuencia, en esta imagen la expectativa de Y siempre se desplazará hacia arriba con respecto a la posición de${\displaystyle \varphi (\operatorname {E} [X])}$Un razonamiento similar se aplica si la distribución de X cubre una porción decreciente de la función convexa, o tanto una porción decreciente como una creciente de la misma. Esto "prueba" la desigualdad, es decir

${\displaystyle \varphi (\operatorname {E} [X])\leq \operatorname {E} [\varphi (X)]=\operatorname {E} [Y],}$

con igualdad cuando φ ( X ) no es estrictamente convexa, por ejemplo, cuando es una línea recta o cuando X sigue una distribución degenerada (es decir, es una constante).

Las demostraciones que se presentan a continuación formalizan esta noción intuitiva.

Si λ ₁ y λ ₂ son dos números reales no negativos arbitrarios tales que λ ₁ + λ ₂ = 1 , entonces la convexidad de φ implica

${\displaystyle \forall x_{1},x_{2}:\qquad \varphi \left(\lambda _{1}x_{1}+\lambda _{2}x_{2}\right)\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2}).}$

Esto se puede generalizar: si λ ₁ , ..., λ _n son números reales no negativos tales que λ ₁ + ... + λ _n = 1 , entonces

${\displaystyle \varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2}+\cdots +\lambda _{n}x_{n})\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2})+\cdots +\lambda _{n}\,\varphi (x_{n}),}$

para cualquier x ₁ , ..., x _n .

La forma finita de la desigualdad de Jensen se puede demostrar por inducción : por hipótesis de convexidad, la afirmación es verdadera para n  =  2. Supongamos que la afirmación es verdadera para algún n , entonces

${\displaystyle \varphi \left(\sum _{i=1}^{n}\lambda _{i}x_{i}\right)\leq \sum _{i=1}^{n}\lambda _{i}\varphi \left(x_{i}\right)}$

para cualquier λ ₁ , ..., λ _n tal que λ ₁ + ... + λ _n = 1 .

Es necesario demostrarlo para n + 1. Al menos uno de los λ _i es estrictamente menor que${\displaystyle 1}$, digamos λ _{n +1} ; por lo tanto, por desigualdad de convexidad:

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&=\varphi \left((1-\lambda _{n+1})\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}+\lambda _{n+1}x_{n+1}\right)\\&\leq (1-\lambda _{n+1})\varphi \left(\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}\right)+\lambda _{n+1}\,\varphi (x_{n+1}).\end{aligned}}}$

Dado que λ ₁ + ... + λ _n + λ _{n +1} = 1 ,

${\displaystyle \sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}=1}$,

aplicando la hipótesis inductiva se obtiene

${\displaystyle \varphi \left(\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}\right)\leq \sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}\varphi (x_{i})}$

por lo tanto

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&\leq (1-\lambda _{n+1})\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}\varphi (x_{i})+\lambda _{n+1}\,\varphi (x_{n+1})=\sum _{i=1}^{n+1}\lambda _{i}\varphi (x_{i})\end{aligned}}}$

Deducimos que la desigualdad es verdadera para n + 1 , por inducción se sigue que el resultado también es verdadero para todo entero n mayor que 2.

Para obtener la desigualdad general a partir de esta forma finita, es necesario utilizar un argumento de densidad. La forma finita se puede reescribir como:

${\displaystyle \varphi \left(\int x\,d\mu _{n}(x)\right)\leq \int \varphi (x)\,d\mu _{n}(x),}$

donde μ _n es una medida dada por una combinación convexa arbitraria de deltas de Dirac :

${\displaystyle \mu _{n}=\sum _{i=1}^{n}\lambda _{i}\delta _{x_{i}}.}$

Dado que las funciones convexas son continuas , y dado que las combinaciones convexas de deltas de Dirac son débilmente densas en el conjunto de medidas de probabilidad (como se puede verificar fácilmente), la afirmación general se obtiene simplemente mediante un procedimiento de límite.

Dejar${\displaystyle g}$ser un valor real${\displaystyle \mu }$-función integrable en un espacio de probabilidad${\displaystyle \Omega }$y dejar${\displaystyle \varphi }$sea ​​una función convexa en los números reales. Dado que${\displaystyle \varphi }$es convexa, en cada número real${\displaystyle x}$tenemos un conjunto no vacío de subderivadas , que pueden pensarse como líneas que tocan la gráfica de${\displaystyle \varphi }$en${\displaystyle x}$, pero que se encuentran debajo del gráfico de${\displaystyle \varphi }$en todos los puntos (líneas de soporte del gráfico).

Ahora bien, si definimos

${\displaystyle x_{0}:=\int _{\Omega }g\,d\mu ,}$

Debido a la existencia de subderivadas para funciones convexas, podemos elegir${\displaystyle a}$y${\displaystyle b}$de tal manera que

${\displaystyle ax+b\leq \varphi (x),}$

para todos los reales${\displaystyle x}$y

${\displaystyle ax_{0}+b=\varphi (x_{0}).}$

Pero luego tenemos eso

${\displaystyle \varphi \circ g(\omega )\geq ag(\omega )+b}$

para casi todos${\displaystyle \omega \in \Omega }$. Dado que tenemos una medida de probabilidad, la integral es monótona con${\displaystyle \mu (\Omega )=1}$de modo que

${\displaystyle \int _{\Omega }\varphi \circ g\,d\mu \geq \int _{\Omega }(ag+b)\,d\mu =a\int _{\Omega }g\,d\mu +b\int _{\Omega }d\mu =ax_{0}+b=\varphi (x_{0})=\varphi \left(\int _{\Omega }g\,d\mu \right),}$

como se desee.

Sea X una variable aleatoria integrable que toma valores en un espacio vectorial topológico real T. Dado que${\displaystyle \varphi :T\to \mathbb {R} }$es convexa, para cualquier${\displaystyle x,y\in T}$la cantidad

${\displaystyle {\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }},}$

está disminuyendo a medida que θ se acerca a 0 ⁺ . En particular, el subgradiente de${\displaystyle \varphi }$evaluado en x en la dirección y está bien definido por

${\displaystyle (D\varphi )(x)\cdot y:=\lim _{\theta \downarrow 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}=\inf _{\theta \neq 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}.}$

Es fácil ver que el subgradiente es lineal en y (lo cual es falso y la afirmación requiere que se demuestre el teorema de Hahn-Banach) y, dado que el ínfimo tomado en el lado derecho de la fórmula anterior es menor que el valor del mismo término para θ = 1 , se obtiene

${\displaystyle \varphi (x)\leq \varphi (x+y)-(D\varphi )(x)\cdot y.}$

En particular, para un subálgebra σ arbitraria${\displaystyle {\mathfrak {G}}}$podemos evaluar la última desigualdad cuando${\displaystyle x=\operatorname {E} [X\mid {\mathfrak {G}}],\,y=X-\operatorname {E} [X\mid {\mathfrak {G}}]}$para obtener

${\displaystyle \varphi (\operatorname {E} [X\mid {\mathfrak {G}}])\leq \varphi (X)-(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot (X-\operatorname {E} [X\mid {\mathfrak {G}}]).}$

Ahora, si tomamos la expectativa condicionada a${\displaystyle {\mathfrak {G}}}$En ambos lados de la expresión anterior, obtenemos el resultado ya que:

${\displaystyle \operatorname {E} \left[\left[(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot (X-\operatorname {E} [X\mid {\mathfrak {G}}])\right]\mid {\mathfrak {G}}\right]=(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot \operatorname {E} [\left(X-\operatorname {E} [X\mid {\mathfrak {G}}]\right)\mid {\mathfrak {G}}]=0,}$

por la linealidad del subgradiente en la variable y , y la siguiente propiedad bien conocida de la esperanza condicional :

${\displaystyle \operatorname {E} \left[\left(\operatorname {E} [X\mid {\mathfrak {G}}]\right)\mid {\mathfrak {G}}\right]=\operatorname {E} [X\mid {\mathfrak {G}}].}$

Supongamos que Ω es un subconjunto medible de la recta real y f ( x ) es una función no negativa tal que

${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=1.}$

En lenguaje probabilístico, f es una función de densidad de probabilidad .

Entonces, la desigualdad de Jensen se convierte en la siguiente afirmación sobre integrales convexas:

Si g es cualquier función medible de valor real y${\textstyle \varphi }$es convexa en el rango de g , entonces

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }g(x)f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (g(x))f(x)\,dx.}$

Si g ( x ) = x , entonces esta forma de la desigualdad se reduce a un caso especial de uso común:

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }x\,f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (x)\,f(x)\,dx.}$

Esto se aplica en los métodos bayesianos variacionales .

Si g ( x ) = x ²ⁿ , y X es una variable aleatoria, entonces g es convexa como

${\displaystyle {\frac {d^{2}g}{dx^{2}}}(x)=2n(2n-1)x^{2n-2}\geq 0\quad \forall \ x\in \mathbb {R} }$

y entonces

${\displaystyle g(\operatorname {E} [X])=(\operatorname {E} [X])^{2n}\leq \operatorname {E} [X^{2n}].}$

En particular, si algún momento par 2n de X es finito, X tiene una media finita. Una extensión de este argumento muestra que X tiene momentos finitos de cada orden.${\displaystyle l\in \mathbb {N} }$dividiendo n .

Sea Ω = { x ₁ , ... x _n }, y tomemos μ como la medida de conteo en Ω , entonces la forma general se reduce a una afirmación sobre sumas:

${\displaystyle \varphi \left(\sum _{i=1}^{n}g(x_{i})\lambda _{i}\right)\leq \sum _{i=1}^{n}\varphi (g(x_{i}))\lambda _{i},}$

siempre que λ _i ≥ 0 y

${\displaystyle \lambda _{1}+\cdots +\lambda _{n}=1.}$

También existe una forma discreta infinita.

La desigualdad de Jensen es de particular importancia en la física estadística cuando la función convexa es una exponencial, dando como resultado:

${\displaystyle e^{\operatorname {E} [X]}\leq \operatorname {E} \left[e^{X}\right],}$

donde los valores esperados son con respecto a alguna distribución de probabilidad en la variable aleatoria X.

Si p ( x ) es la verdadera densidad de probabilidad para X , y q ( x ) es otra densidad, entonces al aplicar la desigualdad de Jensen para la variable aleatoria Y ( X ) = q ( X )/ p ( X ) y la función convexa φ ( y ) = −log( y ) se obtiene

${\displaystyle \operatorname {E} [\varphi (Y)]\geq \varphi (\operatorname {E} [Y])}$

Por lo tanto:

${\displaystyle -D(p(x)\|q(x))=\int p(x)\log \left({\frac {q(x)}{p(x)}}\right)\,dx\leq \log \left(\int p(x){\frac {q(x)}{p(x)}}\,dx\right)=\log \left(\int q(x)\,dx\right)=0}$

un resultado llamado desigualdad de Gibbs .

Muestra que la longitud promedio del mensaje se minimiza cuando los códigos se asignan en función de las probabilidades verdaderas p en lugar de cualquier otra distribución q . La cantidad que es no negativa se llama divergencia de Kullback-Leibler de q con respecto a p , donde${\displaystyle D(p(x)\|q(x))=\int p(x)\log \left({\frac {p(x)}{q(x)}}\right)dx}$.

Dado que −log( x ) es una función estrictamente convexa para x > 0 , se deduce que la igualdad se cumple cuando p ( x ) es igual a q ( x ) casi en todas partes.

Si L es una función convexa y${\displaystyle {\mathfrak {G}}}$una subsigma-álgebra, entonces, a partir de la versión condicional de la desigualdad de Jensen, obtenemos

${\displaystyle L(\operatorname {E} [\delta (X)\mid {\mathfrak {G}}])\leq \operatorname {E} [L(\delta (X))\mid {\mathfrak {G}}]\quad \Longrightarrow \quad \operatorname {E} [L(\operatorname {E} [\delta (X)\mid {\mathfrak {G}}])]\leq \operatorname {E} [L(\delta (X))].}$

Entonces, si δ( X ) es algún estimador de un parámetro no observado θ dado un vector de observables X ; y si T ( X ) es una estadística suficiente para θ; entonces se puede obtener un estimador mejorado, en el sentido de tener una pérdida esperada L menor , calculando

${\displaystyle \delta _{1}(X)=\operatorname {E} _{\theta }[\delta (X')\mid T(X')=T(X)],}$

el valor esperado de δ con respecto a θ, tomado sobre todos los posibles vectores de observaciones X compatibles con el mismo valor de T ( X ) que el observado. Además, debido a que T es una estadística suficiente,${\displaystyle \delta _{1}(X)}$no depende de θ, por lo tanto, se convierte en una estadística.

Este resultado se conoce como el teorema de Rao-Blackwell .

La relación entre la aversión al riesgo y la utilidad marginal decreciente para resultados escalares se puede expresar formalmente con la desigualdad de Jensen: la aversión al riesgo se puede expresar como la preferencia por un resultado determinado.${\displaystyle u(E[x])}$a una apuesta justa con un resultado potencialmente mayor pero incierto de${\displaystyle u(x)}$:

${\displaystyle u(E[x])>E[u(x)]}$.

Pero esta es simplemente la desigualdad de Jensen para una superficie cóncava.${\displaystyle u(x)}$: una función de utilidad que presenta una utilidad marginal decreciente. ^{[ 11 ]}