Distribución continua de Bernoulli

En teoría de probabilidad , estadística y aprendizaje automático , la distribución continua de Bernoulli ^{[1] [2] [3]} es una familia de distribuciones de probabilidad continuas parametrizadas por un único parámetro de forma , definido en el intervalo unitario , por: ${\displaystyle \lambda \en (0,1)}$${\displaystyle x\en [0,1]}$

${\displaystyle p(x|\lambda )\propto \lambda ^{x}(1-\lambda )^{1-x}.}$

La distribución continua de Bernoulli surge en el aprendizaje profundo y la visión por computadora , específicamente en el contexto de los autocodificadores variacionales , ^{[4] [5]} para modelar las intensidades de píxeles de imágenes naturales. Como tal, define una contraparte probabilística adecuada para la pérdida de entropía cruzada binaria comúnmente utilizada , que a menudo se aplica a datos continuos de valores -. ^{[6] [7] [8] [9]} Esta práctica equivale a ignorar la constante de normalización de la distribución continua de Bernoulli, ya que la pérdida de entropía cruzada binaria solo define una verdadera verosimilitud logarítmica para datos discretos de valores -. ${\estilo de visualización [0,1]}$${\estilo de visualización \{0,1\}}$

La distribución de Bernoulli continua también define una familia exponencial de distribuciones. Escribiendo para el parámetro natural , la densidad puede reescribirse en forma canónica: . ${\displaystyle \eta =\log \left(\lambda /(1-\lambda )\right)}$${\displaystyle p(x|\eta )\propto \exp(\eta x)}$

La distribución de Bernoulli continua puede considerarse como una relajación continua de la distribución de Bernoulli , que se define en el conjunto discreto por la función de masa de probabilidad : ${\estilo de visualización \{0,1\}}$

${\displaystyle p(x)=p^{x}(1-p)^{1-x},}$

donde es un parámetro escalar entre 0 y 1. Aplicando esta misma forma funcional en el intervalo continuo se obtiene la función de densidad de probabilidad de Bernoulli continua , hasta una constante normalizadora. ${\estilo de visualización p}$${\estilo de visualización [0,1]}$

La distribución Beta tiene la función de densidad:

${\displaystyle p(x)\propto x^{\alpha -1}(1-x)^{\beta -1},}$

que puede reescribirse como:

${\displaystyle p(x)\propto x_{1}^{\alpha _{1}-1}x_{2}^{\alpha _{2}-1},}$

donde son parámetros escalares positivos, y representa un punto arbitrario dentro del 1- símplex , . Al intercambiar el papel del parámetro y el argumento en esta función de densidad, obtenemos: ${\displaystyle \alpha _{1},\alpha _{2}}$${\estilo de visualización (x_{1},x_{2})}$${\displaystyle \Delta ^{1}=\{(x_{1},x_{2}):x_{1}>0,x_{2}>0,x_{1}+x_{2}=1\}}$

${\displaystyle p(x)\propto \alpha _{1}^{x_{1}}\alpha _{2}^{x_{2}}.}$

Esta familia sólo es identificable hasta la restricción lineal , de donde obtenemos: ${\displaystyle \alpha _{1}+\alpha _{2}=1}$

${\displaystyle p(x)\propto \lambda ^{x_{1}}(1-\lambda )^{x_{2}},}$

correspondiente exactamente a la densidad continua de Bernoulli.

Una distribución exponencial restringida al intervalo unitario es equivalente a una distribución de Bernoulli continua con el parámetro ^{[ ¿cuál? ]} apropiado .

La generalización multivariada del Bernoulli continuo se denomina continua-categórica. ^[10]