Articulo de referencia

Distribución de Bernoulli

P(x=0) = 0{.}2 and P(x=1) = 0{.}8 }}\n{{legend|00007F|2= P(x=0) = 0{.}8 and P(x=1) = 0{.}2 }}\n{{legend|007F00|2= P(x=0) = 0{.}5 and P(x=1) = 0{.}5 }}"},"cdf_image":{"wt":""},"n...

En teoría de la probabilidad y estadística , la distribución de Bernoulli , que recibe su nombre del matemático suizo Jacob Bernoulli , [ 1 ] es la distribución de probabilidad discreta de una variable aleatoria que toma el valor 1 con probabilidadpag{\displaystyle p}y el valor 0 con probabilidadq=1pag{\displaystyle q=1-p}De manera menos formal, puede considerarse como un modelo para el conjunto de resultados posibles de cualquier experimento individual que plantee una pregunta de sí o no . Dichas preguntas conducen a resultados con valor booleano : un único bit cuyo valor es éxito/ / verdadero / uno con probabilidad p y fracaso/no/ falso / cero con probabilidad q . Puede utilizarse para representar un lanzamiento de moneda (posiblemente sesgado) donde 1 y 0 representarían "cara" y "cruz", respectivamente, y p sería la probabilidad de que la moneda caiga en cara (o viceversa, donde 1 representaría cruz y p sería la probabilidad de cruz). En particular, las monedas injustas tendríanpag1/2.{\displaystyle p\neq 1/2.}

La distribución de Bernoulli es un caso especial de la distribución binomial en la que se realiza un único ensayo (por lo que n sería 1 para dicha distribución binomial). También es un caso especial de la distribución binomial , para la cual los posibles resultados no tienen por qué ser 0 y 1. [ 2 ]

Propiedades

Siincógnita{\displaystyle X}Si se trata de una variable aleatoria con distribución de Bernoulli, entonces:

Pr(incógnita=1)=pag,Pr(incógnita=0)=q=1pag.{\displaystyle {\begin{aligned}\Pr(X{=}1)&=p,\\\Pr(X{=}0)&=q=1-p.\end{aligned}}}

La función de masa de probabilidadF{\displaystyle f}de esta distribución, sobre los posibles resultados k , es [ 3 ]

F(k;pag)={pagsi k=1,q=1pagsi k=0.{\displaystyle f(k;p)={\begin{cases}p&{\text{si }}k=1,\\q=1-p&{\text{si }}k=0.\end{cases}}}

Esto también se puede expresar como

F(k;pag)=pagk(1pag)1kpara k{0,1}{\displaystyle f(k;p)=p^{k}(1-p)^{1-k}\quad {\text{para }}k\in \{0,1\}}

o como

F(k;pag)=pagk+(1pag)(1k)para k{0,1}.{\displaystyle f(k;p)=pk+(1-p)(1-k)\quad {\text{para }}k\in \{0,1\}.}

La distribución de Bernoulli es un caso especial de la distribución binomial connorte=1.{\displaystyle n=1.}[ 4 ]

La curtosis tiende a infinito para valores altos y bajos depag,{\displaystyle p,}si no fuera porpag=1/2{\displaystyle p=1/2}Las distribuciones de dos puntos, incluida la distribución de Bernoulli, tienen una curtosis de exceso menor , concretamente -2, que cualquier otra distribución de probabilidad.

Las distribuciones de Bernoulli para0pag1{\displaystyle 0\leq p\leq 1}forman una familia exponencial .

El estimador de máxima verosimilitud depag{\displaystyle p}basado en una muestra aleatoria es la media muestral .

La función de distribución de probabilidad de masa de un experimento de Bernoulli junto con su correspondiente función de distribución acumulativa.

Significar

El valor esperado de una variable aleatoria de Bernoulliincógnita{\displaystyle X}es

mi[incógnita]=pag{\displaystyle \operatorname {E} [X]=p}

Esto se debe a que para una variable aleatoria con distribución de Bernoulliincógnita{\displaystyle X}conPr(incógnita=1)=pag{\displaystyle \Pr(X{=}1)=p}yPr(incógnita=0)=q{\textstyle \Pr(X{=}0)=q}encontramos [ 3 ]

mi[incógnita]=Pr(incógnita=1)1+Pr(incógnita=0)0=pag1+q0=pag.{\displaystyle {\begin{aligned}\operatorname {E} [X]&=\Pr(X{=}1)\cdot 1+\Pr(X{=}0)\cdot 0\\[1ex]&=p\cdot 1+q\cdot 0\\[1ex]&=p.\end{aligned}}}

Diferencia

La varianza de una distribución de Bernoulliincógnita{\displaystyle X}es

Var[incógnita]=pagq=pag(1pag){\displaystyle \operatorname {Var} [X]=pq=p(1-p)}

Primero encontramos

mi[incógnita2]=Pr(incógnita=1)12+Pr(incógnita=0)02=pag12+q02=pag=mi[incógnita]{\displaystyle {\begin{aligned}\operatorname {E} [X^{2}]&=\Pr(X{=}1)\cdot 1^{2}+\Pr(X{=}0)\cdot 0^{2}\\&=p\cdot 1^{2}+q\cdot 0^{2}\\&=p=\operatorname {E} [X]\end{aligned}}}

De esto se deduce [ 3 ]

Var[incógnita]=mi[incógnita2]mi[incógnita]2=mi[incógnita]mi[incógnita]2=pagpag2=pag(1pag)=pagq{\displaystyle {\begin{aligned}\operatorname {Var} [X]&=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}=\operatorname {E} [X]-\operatorname {E} [X]^{2}\\[1ex]&=pp^{2}=p(1-p)=pq\end{aligned}}}

Con este resultado es fácil demostrar que, para cualquier distribución de Bernoulli, su varianza tendrá un valor dentro de[0,1/4]{\displaystyle [0,1/4]}.

Oblicuidad

La asimetría esqpagpagq=12pagpagq{\displaystyle {\frac {qp}{\sqrt {pq}}}={\frac {1-2p}{\sqrt {pq}}}}Cuando tomamos la variable aleatoria con distribución de Bernoulli estandarizadaincógnitami[incógnita]Var[incógnita]{\displaystyle {\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}}encontramos que esta variable aleatoria alcanzaqpagq{\displaystyle {\frac {q}{\sqrt {pq}}}}con probabilidadpag{\displaystyle p}y alcanzapagpagq{\displaystyle -{\frac {p}{\sqrt {pq}}}}con probabilidadq{\displaystyle q}. Así obtenemos

γ1=mi[(incógnitami[incógnita]Var[incógnita])3]=pag(qpagq)3+q(pagpagq)3=1pagq3(pagq3qpag3)=pagqpagq3(q2pag2)=(1pag)2pag2pagq=12pagpagq=qpagpagq.{\displaystyle {\begin{aligned}\gamma _{1}&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q^{2}-p^{2})\\&={\frac {(1-p)^{2}-p^{2}}{\sqrt {pq}}}\\&={\frac {1-2p}{\sqrt {pq}}}={\frac {q-p}{\sqrt {pq}}}.\end{aligned}}}

Momentos superiores y cumulantes

Todos los momentos crudos son iguales porque1k=1{\displaystyle 1^{k}=1}y0k=0{\displaystyle 0^{k}=0}.

mi[incógnitak]=Pr(incógnita=1)1k+Pr(incógnita=0)0k=pag1+q0=pag=mi[incógnita].{\displaystyle \operatorname {E} [X^{k}]=\Pr(X{=}1)\cdot 1^{k}+\Pr(X{=}0)\cdot 0^{k}=p\cdot 1+q\cdot 0=p=\operatorname {E} [X].}

El momento central del ordenk{\displaystyle k}es dado por μk=(1pag)(pag)k+pag(1pag)k.{\displaystyle \mu _{k}=(1-p)(-p)^{k}+p(1-p)^{k}.} Los primeros seis momentos centrales son μ1=0,μ2=pag(1pag),μ3=pag(1pag)(12pag),μ4=pag(1pag)(13pag(1pag)),μ5=pag(1pag)(12pag)(12pag(1pag)),μ6=pag(1pag)(15pag(1pag)(1pag(1pag))).{\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=p(1-p),\\\mu _{3}&=p(1-p)(1-2p),\\\mu _{4}&=p(1-p)(1-3p(1-p)),\\\mu _{5}&=p(1-p)(1-2p)(1-2p(1-p)),\\\mu _{6}&=p(1-p)(1-5p(1-p)(1-p(1-p))).\end{aligned}}} Los momentos centrales superiores pueden expresarse de forma más compacta en términos deμ2{\displaystyle \mu _{2}}yμ3{\displaystyle \mu _{3}}μ4=μ2(13μ2),μ5=μ3(12μ2),μ6=μ2(15μ2(1μ2)).{\displaystyle {\begin{aligned}\mu _{4}&=\mu _{2}(1-3\mu _{2}),\\\mu _{5}&=\mu _{3}(1-2\mu _{2}),\\\mu _{6}&=\mu _{2}(1-5\mu _{2}(1-\mu _{2})).\end{aligned}}} Los primeros seis cumulantes son κ1=pag,κ2=μ2,κ3=μ3,κ4=μ2(16μ2),κ5=μ3(112μ2),κ6=μ2(130μ2(14μ2)).{\displaystyle {\begin{aligned}\kappa _{1}&=p,\\\kappa _{2}&=\mu _{2},\\\kappa _{3}&=\mu _{3},\\\kappa _{4}&=\mu _{2}(1-6\mu _{2}),\\\kappa _{5}&=\mu _{3}(1-12\mu _{2}),\\\kappa _{6}&=\mu _{2}(1-30\mu _{2}(1-4\mu _{2})).\end{aligned}}}

Entropía e información de Fisher

Entropía

La entropía es una medida de incertidumbre o aleatoriedad en una distribución de probabilidad. Para una variable aleatoria de Bernoulliincógnita{\displaystyle X}con probabilidad de éxitopag{\displaystyle p}y probabilidad de fallaq=1pag{\displaystyle q=1-p}la entropíaH(incógnita){\displaystyle H(X)}se define como:

H(incógnita)=mipagln1Pr(incógnita)=Pr(incógnita=0)lnPr(incógnita=0)Pr(incógnita=1)lnPr(incógnita=1)=(qlnq+paglnpag).{\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{p}\ln {\frac {1}{\Pr(X)}}\\[1ex]&=-\Pr(X{=}0)\ln \Pr(X{=}0)-\Pr(X{=}1)\ln \Pr(X{=}1)\\[1ex]&=-(q\ln q+p\ln p).\end{aligned}}}

La entropía se maximiza cuandopag=0,5{\displaystyle p=0.5}, lo que indica el nivel más alto de incertidumbre cuando ambos resultados son igualmente probables. La entropía es cero cuandopag=0{\displaystyle p=0}opag=1{\displaystyle p=1}donde un resultado es seguro.

Información de Fisher

La información de Fisher mide la cantidad de información que una variable aleatoria observable puede contener.incógnita{\displaystyle X}lleva consigo un parámetro desconocidopag{\displaystyle p}sobre la cual la probabilidad deincógnita{\displaystyle X}Depende. Para la distribución de Bernoulli, la información de Fisher con respecto al parámetropag{\displaystyle p}está dado por:

I(pag)=1pagq{\displaystyle I(p)={\frac {1}{pq}}}

Prueba:

  • Función de verosimilitud para una variable aleatoria de Bernoulliincógnita{\displaystyle X}es:L(pag;incógnita)=pagincógnita(1pag)1incógnita{\displaystyle L(p;X)=p^{X}(1-p)^{1-X}}Esto representa la probabilidad de observarincógnita{\displaystyle X}dado el parámetropag{\displaystyle p}.
  • La función de verosimilitud logarítmica es:lnL(pag;incógnita)=incógnitalnpag+(1incógnita)ln(1pag){\displaystyle \ln L(p;X)=X\ln p+(1-X)\ln(1-p)}
  • La función de puntuación (la primera derivada de la log-verosimilitud con respecto apag{\displaystyle p}es:paglnL(pag;incógnita)=incógnitapag1incógnita1pag{\displaystyle {\frac {\partial }{\partial p}}\ln L(p;X)={\frac {X}{p}}-{\frac {1-X}{1-p}}}
  • La segunda derivada de la función de log-verosimilitud es:2pag2lnL(pag;incógnita)=incógnitapag21incógnita(1pag)2{\displaystyle {\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {X}{p^{2}}}-{\frac {1-X}{(1-p)^{2}}}}
  • La información de Fisher se calcula como el valor esperado negativo de la segunda derivada del logaritmo de la verosimilitud:I(pag)=mi[2pag2lnL(pag;incógnita)]=(pagpag21pag(1pag)2)=1pag(1pag)=1pagq{\displaystyle {\begin{aligned}I(p)=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]=-\left(-{\frac {p}{p^{2}}}-{\frac {1-p}{(1-p)^{2}}}\right)={\frac {1}{p(1-p)}}={\frac {1}{pq}}\end{aligned}}}

Se maximiza cuandopag=0,5{\displaystyle p=0.5}, lo que refleja la máxima incertidumbre y, por lo tanto, la máxima información sobre el parámetro.pag{\displaystyle p}.

La distribución de Bernoulli es simplementeB(1,pag){\displaystyle \operatorname {B} (1,p)}, también escrito comoBmirnorteolli(pag).{\textstyle \mathrm {Bernoulli} (p).}

Véase también

Referencias

  1. Uspensky, James Victor (1937). Introducción a la probabilidad matemática . Nueva York: McGraw-Hill . pág.  45. OCLC 996937 . 
  2. ^ Dekking, Frederik; Kraaikamp, ​​Cornelis; Lopuhaä, Hendrik; Meester, Ludolf (9 de octubre de 2010). Una introducción moderna a la probabilidad y la estadística (1 ed.). Springer Londres . págs. 43 a 48. ISBN   9781849969529.
  3. ^ Bertsekas , Dimitri P. ( 2002) . Introducción a la probabilidad . Tsitsiklis, John N. , Τσιτσικλής, Γιάννης Ν. Belmont, Massachusetts: Athena Scientific. ISBN 188652940XOCLC 51441829 
  4. McCullagh, Peter ; Nelder, John (1989). Modelos lineales generalizados, segunda edición . Boca Raton: Chapman and Hall/CRC. Sección 4.2.2. ISBN 0-412-31760-5.
  5. Orloff, Jeremy; Bloom, Jonathan. "Prioridades conjugadas: Beta y normal" (PDF) . math.mit.edu . Consultado el 20 de octubre de 2023 .

Mención del autor

  • Abhirath, dwivedi ; Kotz, Samuel ; Kemp, Adrienne W. (1993). Distribuciones discretas univariadas (2.ª  ed.). Wiley. ISBN 0-471-54897-9.
  • Peatman, John G. (1963). Introducción a la estadística aplicada . Nueva York: Harper & Row. págs. 162–171 .