distribución de Dirichlet

La distribución de Dirichlet de orden${\displaystyle K\geq 2}$con parámetros${\displaystyle \alpha _{1},\ldots ,\alpha _{K}>0}$tiene una función de densidad de probabilidad dada por

$${\displaystyle f\left(x_{1},\ldots ,x_{K};\alpha _{1},\ldots ,\alpha _{K}\right)={\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$$ dónde$${\displaystyle x_{i}\in \left[0,1\right]{\mbox{ para todo }}i\in \{1,\dots ,K\}{\mbox{ y }}\sum _{i=1}^{K}x_{i}=1\,.}$$ Es decir, la función de densidad de probabilidad se define en el estándar${\displaystyle K-1}$simplex incrustado en${\displaystyle K}$espacio euclidiano -dimensional ,${\displaystyle \mathbb {R} ^{K}}$.

La constante de normalización es la función beta multivariada , que puede expresarse en términos de la función gamma :

$${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}},\qquad {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K}).}$$

El soporte de la distribución de Dirichlet es el conjunto de vectores x de dimensión K cuyas entradas son números reales en el intervalo [0,1] tales que${\displaystyle \|{\boldsymbol {x}}\|_{1}=1}$, es decir, la suma de las coordenadas es igual a 1. Estas pueden verse como las probabilidades de un evento categórico de K vías . Otra forma de expresar esto es que el dominio de la distribución de Dirichlet es en sí mismo un conjunto de distribuciones de probabilidad , específicamente el conjunto de distribuciones discretas de K dimensiones . El término técnico para el conjunto de puntos en el soporte de una distribución de Dirichlet de K dimensiones es el estándar abierto ( K -1) -símplex , ^{[ 3 ]} que es una generalización de un triángulo , incrustado en la siguiente dimensión superior. Por ejemplo, con K = 3 , el soporte es un triángulo equilátero incrustado de forma de ángulo descendente en el espacio tridimensional, con vértices en (1,0,0), (0,1,0) y (0,0,1), es decir, tocando cada uno de los ejes de coordenadas en un punto a 1 unidad del origen.

Un caso especial común es la distribución de Dirichlet simétrica , donde todos los elementos que componen el vector de parámetros α tienen el mismo valor. El caso simétrico puede ser útil, por ejemplo, cuando se requiere una distribución a priori de Dirichlet sobre los componentes, pero no hay conocimiento previo que favorezca un componente sobre otro. Dado que todos los elementos del vector de parámetros tienen el mismo valor, la distribución de Dirichlet simétrica puede parametrizarse mediante un único valor escalar α , llamado parámetro de concentración . En términos de α , la función de densidad tiene la forma

$${\displaystyle f(x_{1},\dots ,x_{K};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.}$$

Cuando α = 1 ,La distribución de Dirichlet simétrica es equivalente a una distribución uniforme sobre el ( K -1) -símplex estándar abierto , es decir, es uniforme sobre todos los puntos de su soporte . Esta distribución en particular se conoce como distribución de Dirichlet plana . Los valores del parámetro de concentración superiores a 1 favorecen las variables que son distribuciones densas y uniformemente distribuidas, es decir, todos los valores dentro de una misma muestra son similares entre sí. Los valores del parámetro de concentración inferiores a 1 favorecen las distribuciones dispersas, es decir, la mayoría de los valores dentro de una misma muestra estarán cerca de 0, y la gran mayoría de la masa se concentrará en unos pocos valores.

Cuando α = 1/2 , la distribución es la misma que se obtendría al elegir un punto uniformemente al azar de la hiperesfera unitaria ( K -1) -dimensional , que es la superficie de una hiperbola unitaria K -dimensional , y elevar al cuadrado cada coordenada. La distribución α = 1/2 es la distribución a priori de Jeffreys para la distribución de Dirichlet.

En lugar de especificar el vector de parámetros de concentración${\displaystyle {\boldsymbol {\alpha }}}$, uno podría desear especificar la distribución de probabilidad esperada $${\displaystyle \operatorname {E} _{i}={\frac {\alpha _{i}}{\alpha _{0}}}\;\;{\mbox{ where }}\;\;\alpha _{0}=\sum _{j=1}^{K}\alpha _{j}}$$de tal manera que los parámetros de concentración se escriben como el producto${\displaystyle \,{\boldsymbol {\alpha }}=W\,{\boldsymbol {\operatorname {E} }}\,}$del peso de concentración ( escalar )${\displaystyle W}$y la distribución de probabilidad esperada${\displaystyle {\boldsymbol {\operatorname {E} }}}$cuyos componentes son no negativos y suman 1. En este caso, el peso de concentración es mayor por un factor K que el parámetro de concentración para una distribución de Dirichlet simétrica descrita anteriormente. Esta construcción se relaciona con el concepto de medida base al analizar procesos de Dirichlet y se utiliza frecuentemente en la literatura sobre modelado de procesos.

Cuando la dimensión de la distribución de Dirichlet es grande, la distribución a priori de Jeffreys produce un peso de concentración a priori correspondientemente alto. Por ejemplo , cuando${\displaystyle K=100}$⁠ , el peso de concentración previo se convierte en ⁠${\displaystyle W=K/2=50}$⁠ , lo que crea una distribución de probabilidad previa relativamente rígida${\displaystyle {\boldsymbol {\operatorname {E} }}^{\ast }}$donde inicialmente la distribución de probabilidad posterior${\displaystyle {\boldsymbol {\operatorname {E} }}}$apenas cambia en presencia de datos observados, incluso en el caso de, por ejemplo, 10 observaciones donde todas las observaciones indican la misma categoría.${\displaystyle X_{i}}$, lo cual, de forma natural e intuitiva, debería producir una probabilidad esperada.${\displaystyle \operatorname {E} _{i}}$cerca de 1. Una forma de evitar el mal comportamiento de la distribución a priori rígida es usar el peso a priori no informativo.${\displaystyle W}$desde la lógica subjetiva , donde los parámetros de concentración${\displaystyle \alpha _{i}}$se expresan como una función de las observaciones${\displaystyle r_{i}}$de acuerdo a${\displaystyle \alpha _{i}=r_{i}+W\operatorname {E} _{i}^{\ast }}$. ^{[ 4 ]} El peso de concentración previa no informativo ⁠${\displaystyle W}$es una función del número de observaciones${\displaystyle r_{0}=\sum r_{i}}$, expresado como $${\displaystyle W={\frac {K(1+C_{W}r_{0})}{1+Kr_{0}}}}$$ donde​${\displaystyle C_{W}}$es una constante de convergencia, normalmente elegida igual a 2. La elección de${\displaystyle C_{W}=2}$garantiza que la distribución de Dirichlet de cualquier dimensión tenga la misma sensibilidad a nuevas observaciones que la distribución Beta con parámetros de concentración previos.${\displaystyle \alpha +\beta =2}$(o el uniforme)${\displaystyle \alpha =\beta =1}$). En el caso de una distribución de probabilidad previa uniforme${\displaystyle {\boldsymbol {\operatorname {E} }}^{\ast }}$, el peso previo no informativo${\displaystyle W}$También garantiza una distribución de Dirichlet previa uniforme para cualquier dimensión.${\displaystyle K}$. Un gráfico 3D de${\displaystyle W}$Esto se ilustra en la figura.

Dejar${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$.

Dejar

$${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$$

Entonces ^{[ 5 ] [ 6 ]}

$${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$$$${\displaystyle \operatorname {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$$

Además, si${\displaystyle i\neq j}$

$${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$$

La matriz de covarianza es singular .

De forma más general, los momentos de variables aleatorias con distribución de Dirichlet pueden expresarse de la siguiente manera. Para${\displaystyle {\boldsymbol {t}}=(t_{1},\dotsc ,t_{K})\in \mathbb {R} ^{K}}$, denotemos por${\displaystyle {\boldsymbol {t}}^{\circ i}=(t_{1}^{i},\dotsc ,t_{K}^{i})}$su i -ésimo poder de Hadamard . Entonces, ^{[ 7 ]}

${\displaystyle \operatorname {E} \left[({\boldsymbol {t}}\cdot {\boldsymbol {X}})^{n}\right]={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}\sum {\frac {{t_{1}}^{k_{1}}\cdots {t_{K}}^{k_{K}}}{k_{1}!\cdots k_{K}!}}\prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+k_{i})}{\Gamma (\alpha _{i})}}={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}Z_{n}({\boldsymbol {t}}^{\circ 1}\cdot {\boldsymbol {\alpha }},\cdots ,{\boldsymbol {t}}^{\circ n}\cdot {\boldsymbol {\alpha }}),}$

donde la suma se realiza sobre números enteros no negativos${\displaystyle k_{1},\ldots ,k_{K}}$con${\displaystyle n=k_{1}+\cdots +k_{K}}$, y${\displaystyle Z_{n}}$es el polinomio índice de ciclo del grupo simétrico de grado n .

Tenemos un caso especial${\displaystyle \operatorname {E} \left[{\boldsymbol {t}}\cdot {\boldsymbol {X}}\right]={\frac {{\boldsymbol {t}}\cdot {\boldsymbol {\alpha }}}{\alpha _{0}}}.}$

El análogo multivariado${\textstyle \operatorname {E} \left[({\boldsymbol {t}}_{1}\cdot {\boldsymbol {X}})^{n_{1}}\cdots ({\boldsymbol {t}}_{q}\cdot {\boldsymbol {X}})^{n_{q}}\right]}$para vectores${\displaystyle {\boldsymbol {t}}_{1},\dotsc ,{\boldsymbol {t}}_{q}\in \mathbb {R} ^{K}}$puede expresarse ^{[ 8 ]} en términos de un patrón de color de los exponentes${\displaystyle n_{1},\dotsc ,n_{q}}$en el sentido del teorema de enumeración de Pólya .

Los casos particulares incluyen el cálculo simple ^{[ 9 ]}

$${\displaystyle \operatorname {E} \left[\prod _{i=1}^{K}X_{i}^{\beta _{i}}\right]={\frac {B\left({\boldsymbol {\alpha }}+{\boldsymbol {\beta }}\right)}{B\left({\boldsymbol {\alpha }}\right)}}={\frac {\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left[\sum \limits _{i=1}^{K}(\alpha _{i}+\beta _{i})\right]}}\times \prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+\beta _{i})}{\Gamma (\alpha _{i})}}.}$$

La moda de la distribución es ^{[ 10 ]} el vector ( x ₁ , ..., x _K ) con

$${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\qquad \alpha _{i}>1.}$$

Las distribuciones marginales son distribuciones beta : ^{[ 11 ]}

$${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}$$

Véase también la sección §  Distribuciones relacionadas a continuación.

La distribución de Dirichlet es la distribución a priori conjugada de la distribución categórica (una distribución de probabilidad discreta genérica con un número determinado de resultados posibles) y la distribución multinomial (la distribución sobre los recuentos observados de cada categoría posible en un conjunto de observaciones con distribución categórica). Esto significa que si un dato tiene una distribución categórica o multinomial, y la distribución a priori del parámetro de la distribución (el vector de probabilidades que genera el dato) se distribuye como una distribución de Dirichlet, entonces la distribución a posteriori del parámetro también es de Dirichlet. Intuitivamente, en tal caso, partiendo de lo que sabemos sobre el parámetro antes de observar el dato, podemos actualizar nuestro conocimiento basándonos en dicho dato y obtener una nueva distribución de la misma forma que la anterior. Esto significa que podemos actualizar sucesivamente nuestro conocimiento de un parámetro incorporando nuevas observaciones una a una, sin encontrar dificultades matemáticas.

Formalmente, esto se puede expresar de la siguiente manera. Dado un modelo

$${\displaystyle {\begin{array}{rcccl}{\boldsymbol {\alpha }}&=&\left(\alpha _{1},\ldots ,\alpha _{K}\right)&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&\left(p_{1},\ldots ,p_{K}\right)&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{K}\right)&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$$

Entonces se cumple lo siguiente:

$${\displaystyle {\begin{array}{rcccl}\mathbf {c} &=&\left(c_{1},\ldots ,c_{K}\right)&=&{\text{number of occurrences of category }}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} \left(K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K}\right)\end{array}}}$$

Esta relación se utiliza en estadística bayesiana para estimar el parámetro subyacente p de una distribución categórica a partir de un conjunto de N muestras. Intuitivamente, podemos considerar el vector hiperprior α como pseudocuentas , es decir, como la representación del número de observaciones en cada categoría que ya hemos visto. Luego, simplemente sumamos las conteos de todas las nuevas observaciones (el vector c ) para obtener la distribución posterior.

En los modelos de mezcla bayesianos y otros modelos bayesianos jerárquicos con componentes de mezcla, las distribuciones de Dirichlet se utilizan comúnmente como distribuciones a priori para las variables categóricas que aparecen en los modelos. Consulte la sección sobre aplicaciones a continuación para obtener más información.

En un modelo donde se aplica una distribución a priori de Dirichlet a un conjunto de observaciones categóricas , la distribución conjunta marginal de las observaciones (es decir, la distribución conjunta de las observaciones, con el parámetro a priori marginalizado ) es una distribución multinomial de Dirichlet . Esta distribución desempeña un papel importante en los modelos bayesianos jerárquicos , ya que al realizar inferencias sobre dichos modelos mediante métodos como el muestreo de Gibbs o el método bayesiano variacional , las distribuciones a priori de Dirichlet suelen marginalizarse. Consulte el artículo sobre esta distribución para obtener más detalles.

Si X es un${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$variable aleatoria, la entropía diferencial de X (en unidades nat ) es ^{[ 12 ]}

$${\displaystyle h({\boldsymbol {X}})=\operatorname {E} [-\ln f({\boldsymbol {X}})]=\ln \operatorname {B} ({\boldsymbol {\alpha }})+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$$

dónde${\displaystyle \psi }$es la función digamma .

La siguiente fórmula para${\displaystyle \operatorname {E} [\ln(X_{i})]}$se puede utilizar para derivar la entropía diferencial anterior. Dado que las funciones${\displaystyle \ln(X_{i})}$son las estadísticas suficientes de la distribución de Dirichlet, las identidades diferenciales de la familia exponencial se pueden usar para obtener una expresión analítica para la esperanza de${\displaystyle \ln(X_{i})}$(véase la ecuación (2.62) en ^{[ 13 ]} ) y su matriz de covarianza asociada:

$${\displaystyle \operatorname {E} [\ln(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})}$$

y

$${\displaystyle \operatorname {Cov} [\ln(X_{i}),\ln(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})}$$

dónde${\displaystyle \psi }$es la función digamma ,${\displaystyle \psi '}$es la función trigonométrica y${\displaystyle \delta _{ij}}$es el delta de Kronecker .

El espectro de información de Rényi para valores distintos de${\displaystyle \lambda =1}$está dado por ^{[ 14 ]}

$${\displaystyle F_{R}(\lambda )=(1-\lambda )^{-1}\left(-\lambda \log \mathrm {B} ({\boldsymbol {\alpha }})+\sum _{i=1}^{K}\log \Gamma (\lambda (\alpha _{i}-1)+1)-\log \Gamma (\lambda (\alpha _{0}-K)+K)\right)}$$

y la entropía de la información es el límite como${\displaystyle \lambda }$va a 1.

Otra medida interesante relacionada es la entropía de un vector categórico discreto (binario uno de K) Z con distribución de masa de probabilidad X , es decir, ${\displaystyle P(Z_{i}=1,Z_{j\neq i}=0|{\boldsymbol {X}})=X_{i}}$La entropía de información condicional de Z , dado X, es

$${\displaystyle S({\boldsymbol {X}})=H({\boldsymbol {Z}}|{\boldsymbol {X}})=\operatorname {E} _{\boldsymbol {Z}}[-\log P({\boldsymbol {Z}}|{\boldsymbol {X}})]=\sum _{i=1}^{K}-X_{i}\log X_{i}}$$

Esta función de X es una variable aleatoria escalar. Si X tiene una distribución de Dirichlet simétrica con todos${\displaystyle \alpha _{i}=\alpha }$, el valor esperado de la entropía (en unidades nat ) es ^{[ 15 ]}

$${\displaystyle \operatorname {E} [S({\boldsymbol {X}})]=\sum _{i=1}^{K}\operatorname {E} [-X_{i}\ln X_{i}]=\psi (K\alpha +1)-\psi (\alpha +1)}$$

La divergencia de Kullback-Leibler (KL) entre dos distribuciones de Dirichlet,${\displaystyle {\text{Dir}}({\boldsymbol {\alpha }})}$y${\displaystyle {\text{Dir}}({\boldsymbol {\beta }})}$, sobre el mismo simplex es: ^{[ 16 ]}

${\displaystyle {\begin{aligned}D_{\mathrm {KL} }{\big (}\mathrm {Dir} ({\boldsymbol {\alpha }})\,\|\,\mathrm {Dir} ({\boldsymbol {\beta }}){\big )}&=\log {\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}\beta _{i}\right)}}+\sum _{i=1}^{K}\left[\log {\frac {\Gamma (\beta _{i})}{\Gamma (\alpha _{i})}}+(\alpha _{i}-\beta _{i})\left(\psi (\alpha _{i})-\psi \left(\sum _{j=1}^{K}\alpha _{j}\right)\right)\right]\end{aligned}}}$

Si

$${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$$

entonces, si las variables aleatorias con subíndices i y j se eliminan del vector y se reemplazan por su suma,

$${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).}$$

Esta propiedad de agregación puede utilizarse para derivar la distribución marginal de${\displaystyle X_{i}}$mencionado anteriormente.

Si${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$, entonces se dice que el vector X es neutro ^{[ 17 ]} en el sentido de que X _K es independiente de ${\displaystyle X^{(-K)}}$^{[ 3 ]} donde

$${\displaystyle X^{(-K)}=\left({\frac {X_{1}}{1-X_{K}}},{\frac {X_{2}}{1-X_{K}}},\ldots ,{\frac {X_{K-1}}{1-X_{K}}}\right),}$$

y de manera similar para eliminar cualquiera de${\displaystyle X_{2},\ldots ,X_{K-1}}$Obsérvese que cualquier permutación de X también es neutral (una propiedad que no poseen las muestras extraídas de una distribución de Dirichlet generalizada ). ^{[ 18 ]}

Combinando esto con la propiedad de agregación, se deduce que X _j + ... + X _K es independiente de${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$. De hecho, es cierto, además, para la distribución de Dirichlet, que para${\displaystyle 3\leq j\leq K-1}$, la pareja${\displaystyle \left(X_{1}+\cdots +X_{j-1},X_{j}+\cdots +X_{K}\right)}$y los dos vectores${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$y${\displaystyle \left({\frac {X_{j}}{X_{j}+\cdots +X_{K}}},{\frac {X_{j+1}}{X_{j}+\cdots +X_{K}}},\ldots ,{\frac {X_{K}}{X_{j}+\cdots +X_{K}}}\right)}$, vistos como una tripleta de vectores aleatorios normalizados, son mutuamente independientes . El resultado análogo es cierto para la partición de los índices {1, 2, ..., K } en cualquier otro par de subconjuntos no unitarios.

La función característica de la distribución de Dirichlet es una forma confluente de la serie hipergeométrica de Lauricella . Phillips la da como ^{[ 19 ].}

$${\displaystyle CF\left(s_{1},\ldots ,s_{K-1}\right)=\operatorname {E} \left(e^{i\left(s_{1}X_{1}+\cdots +s_{K-1}X_{K-1}\right)}\right)=\Psi ^{\left[K-1\right]}(\alpha _{1},\ldots ,\alpha _{K-1};\alpha _{0};is_{1},\ldots ,is_{K-1})}$$

dónde

$${\displaystyle \Psi ^{[m]}(a_{1},\ldots ,a_{m};c;z_{1},\ldots z_{m})=\sum {\frac {(a_{1})_{k_{1}}\cdots (a_{m})_{k_{m}}\,z_{1}^{k_{1}}\cdots z_{m}^{k_{m}}}{(c)_{k}\,k_{1}!\cdots k_{m}!}}.}$$

La suma se realiza sobre números enteros no negativos.${\displaystyle k_{1},\ldots ,k_{m}}$y${\displaystyle k=k_{1}+\cdots +k_{m}}$Phillips continúa afirmando que esta forma es "inconveniente para el cálculo numérico" y ofrece una alternativa en términos de una integral de trayectoria compleja :

$${\displaystyle \Psi ^{[m]}={\frac {\Gamma (c)}{2\pi i}}\int _{L}e^{t}\,t^{a_{1}+\cdots +a_{m}-c}\,\prod _{j=1}^{m}(t-z_{j})^{-a_{j}}\,dt}$$

donde L denota cualquier trayectoria en el plano complejo que se origina en${\displaystyle -\infty }$, rodeando en la dirección positiva todas las singularidades del integrando y volviendo a${\displaystyle -\infty }$.

Función de densidad de probabilidad${\displaystyle f\left(x_{1},\ldots ,x_{K-1};\alpha _{1},\ldots ,\alpha _{K}\right)}$juega un papel clave en una desigualdad multifuncional que implica varios límites para la distribución de Dirichlet. ^{[ 20 ]}

Otra desigualdad relaciona la función generadora de momentos de la distribución de Dirichlet con el conjugado convexo de la divergencia de Kullback-Leibler inversa escalada: ^{[ 21 ]}

$${\displaystyle \log \operatorname {E} \left(\exp {\sum _{i=1}^{K}s_{i}X_{i}}\right)\leq \sup _{p}\sum _{i=1}^{K}\left(p_{i}s_{i}-\alpha _{i}\log \left({\frac {\alpha _{i}}{\alpha _{0}p_{i}}}\right)\right),}$$ donde el supremo se toma sobre p que abarca el ( K − 1) -símplex.

Debido a que la distribución de Dirichlet es una distribución de la familia exponencial, tiene una distribución a priori conjugada. La distribución a priori conjugada tiene la forma: ^{[ 23 ]}

$${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )\propto \left({\frac {1}{\operatorname {B} ({\boldsymbol {\alpha }})}}\right)^{\eta }\exp \left(-\sum _{k}v_{k}\alpha _{k}\right).}$$

Aquí${\displaystyle {\boldsymbol {v}}}$es un vector real de K dimensiones y${\displaystyle \eta }$es un parámetro escalar. El dominio de${\displaystyle ({\boldsymbol {v}},\eta )}$está restringido al conjunto de parámetros para los cuales la función de densidad no normalizada anterior puede normalizarse. La condición (necesaria y suficiente) es: ^{[ 24 ]}

$${\displaystyle \forall k\;\;v_{k}>0\;\;\;\;{\text{ and }}\;\;\;\;\eta >-1\;\;\;\;{\text{ and }}\;\;\;\;(\eta \leq 0\;\;\;\;{\text{ or }}\;\;\;\;\sum _{k}\exp -{\frac {v_{k}}{\eta }}<1)}$$

La propiedad de conjugación se puede expresar como

si [ anterior :${\displaystyle {\boldsymbol {\alpha }}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}},\eta )}$] y [ observación :${\displaystyle {\boldsymbol {x}}\mid {\boldsymbol {\alpha }}\sim \operatorname {Dirichlet} (\cdot \mid {\boldsymbol {\alpha }})}$] entonces [ posterior :${\displaystyle {\boldsymbol {\alpha }}\mid {\boldsymbol {x}}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}}-\log {\boldsymbol {x}},\eta +1)}$].

En la literatura publicada no existe ningún algoritmo práctico para generar muestras de manera eficiente.${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )}$.

Como se indicó anteriormente, las variables de Dirichlet se pueden generar normalizando variables gamma independientes . Si en cambio se normalizan variables gamma generalizadas , se obtienen variables de la distribución beta generalizada simplicial (SGB). ^{[ 25 ]} Por otro lado, las variables SGB también se pueden obtener aplicando la función softmax a los logaritmos escalados y trasladados de las variables de Dirichlet. Específicamente, sea${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$y dejar${\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{K})}$donde se aplica el logaritmo elemento a elemento: $${\displaystyle \mathbf {y} =\operatorname {softmax} (a^{-1}\log \mathbf {x} +\log \mathbf {b} )\;\iff \;\mathbf {x} =\operatorname {softmax} (a\log \mathbf {y} -a\log \mathbf {b} )}$$ o $${\displaystyle y_{k}={\frac {b_{k}x_{k}^{1/a}}{\sum _{i=1}^{K}b_{i}x_{i}^{1/a}}}\;\iff \;x_{k}={\frac {(y_{k}/b_{k})^{a}}{\sum _{i=1}^{K}(y_{i}/b_{i})^{a}}}}$$ dónde${\displaystyle a>0}$y${\displaystyle \mathbf {b} =(b_{1},\ldots ,b_{K})}$, con todo${\displaystyle b_{k}>0}$, entonces${\displaystyle \mathbf {y} \sim \operatorname {SGB} (a,\mathbf {b} ,{\boldsymbol {\alpha }})}$. La función de densidad SGB se puede derivar observando que la transformación${\displaystyle \mathbf {x} \mapsto \mathbf {y} }$, que es una biyección del simplex a sí mismo, induce un factor de cambio de volumen diferencial ^{[ 26 ]} de: $${\displaystyle R(\mathbf {y} ,a,\mathbf {b} )=a^{1-K}\prod _{k=1}^{K}{\frac {y_{k}}{x_{k}}}}$$ donde se entiende que${\displaystyle \mathbf {x} }$se recupera en función de${\displaystyle \mathbf {y} }$, como se muestra arriba. Esto facilita escribir la densidad SGB en términos de la densidad de Dirichlet, como: $${\displaystyle f_{\text{SGB}}(\mathbf {y} \mid a,\mathbf {b} ,{\boldsymbol {\alpha }})={\frac {f_{\text{Dir}}(\mathbf {x} \mid {\boldsymbol {\alpha }})}{R(\mathbf {y} ,a,\mathbf {b} )}}}$$ Esta generalización de la densidad de Dirichlet, mediante un cambio de variables , está estrechamente relacionada con un flujo normalizador , mientras que el cambio de volumen diferencial no viene dado por el determinante jacobiano de${\displaystyle \mathbf {x} \mapsto \mathbf {y}$ :\mathbb {R} ^{K}\to \mathbb {R} ^{K}} que es cero, pero por el determinante jacobiano de${\displaystyle (x_{1},\ldots ,x_{K-1})\mapsto \mathbf {(} y_{1},\ldots ,y_{K-1})}$, como se explica con más detalle en Flujo normalizador § Flujo simplex .

Para comprender mejor la interacción entre los parámetros de forma de Dirichlet${\displaystyle {\boldsymbol {\alpha }}}$y los parámetros de transformación${\displaystyle a,\mathbf {b} }$, puede ser útil considerar las marginales logarítmicas,${\displaystyle \log {\frac {x_{k}}{1-x_{k}}}}$, que siguen la distribución logística beta ,${\displaystyle B_{\sigma }(\alpha _{k},\sum _{i\neq k}\alpha _{i})}$. Véanse en particular las secciones sobre el comportamiento de la cola y la generalización con parámetros de ubicación y escala .

Las distribuciones de Dirichlet se utilizan comúnmente como distribución a priori de variables categóricas o multinomiales en modelos de mezcla bayesianos y otros modelos bayesianos jerárquicos . (En muchos campos, como el procesamiento del lenguaje natural , las variables categóricas a menudo se denominan imprecisamente "variables multinomiales". Es poco probable que este uso cause confusión, al igual que ocurre cuando se suelen confundir las distribuciones de Bernoulli y las binomiales ).

La inferencia sobre modelos bayesianos jerárquicos se realiza a menudo mediante el muestreo de Gibbs , y en tal caso, las instancias de la distribución de Dirichlet se marginalizan fuera del modelo integrando la variable aleatoria de Dirichlet . Esto provoca que las distintas variables categóricas derivadas de la misma variable aleatoria de Dirichlet se correlacionen, y la distribución conjunta sobre ellas asume una distribución multinomial de Dirichlet , condicionada a los hiperparámetros de la distribución de Dirichlet (los parámetros de concentración ). Una de las razones para hacer esto es que el muestreo de Gibbs de la distribución multinomial de Dirichlet es extremadamente sencillo; consulte ese artículo para obtener más información.

Con una fuente de variables aleatorias con distribución Gamma, se puede muestrear fácilmente un vector aleatorio.${\displaystyle x=(x_{1},\ldots ,x_{K})}$de la distribución de Dirichlet K -dimensional con parámetros${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$Primero, extraiga K muestras aleatorias independientes .${\displaystyle y_{1},\ldots ,y_{K}}$de distribuciones Gamma cada una con densidad

$${\displaystyle \operatorname {Gamma} (\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$$

y luego configurar

$${\displaystyle x_{i}={\frac {y_{i}}{\sum _{j=1}^{K}y_{j}}}.}$$

A continuación se muestra un ejemplo de código Python para dibujar la muestra:

params = [ a1 , a2 , ... , ak ] muestra = [ random . gammavariate ( a , 1 ) para a en params ] muestra = [ v / sum ( muestra ) para v en muestra ]

Esta formulación es correcta independientemente de cómo se parametricen las distribuciones Gamma (forma/escala frente a forma/tasa), porque son equivalentes cuando la escala y la tasa son iguales a 1,0.

Un algoritmo menos eficiente ^{[ 29 ]} se basa en que las distribuciones marginales y condicionales univariadas sean beta y procede de la siguiente manera. Simular${\displaystyle x_{1}}$de

$${\displaystyle {\textrm {Beta}}\left(\alpha _{1},\sum _{i=2}^{K}\alpha _{i}\right)}$$

Luego simula${\displaystyle x_{2},\ldots ,x_{K-1}}$en orden, como sigue. Para${\displaystyle j=2,\ldots ,K-1}$simular${\displaystyle \phi _{j}}$de

$${\displaystyle {\textrm {Beta}}\left(\alpha _{j},\sum _{i=j+1}^{K}\alpha _{i}\right),}$$

y dejar

$${\displaystyle x_{j}=\left(1-\sum _{i=1}^{j-1}x_{i}\right)\phi _{j}.}$$

Finalmente, configure

$${\displaystyle x_{K}=1-\sum _{i=1}^{K-1}x_{i}.}$$

Este procedimiento iterativo se corresponde estrechamente con la intuición de "corte de cuerdas" descrita anteriormente.

A continuación se muestra un ejemplo de código Python para dibujar la muestra:

params = [ a1 , a2 , ... , ak ] xs = [ random . betavariate ( params [ 0 ], sum ( params [ 1 :]))] for j in range ( 1 , len ( params ) - 1 ): phi = random . betavariate ( params [ j ], sum ( params [ j + 1 :])) xs . append (( 1 - sum ( xs )) * phi ) xs . append ( 1 - sum ( xs ))

Cuando α ₁ = ... = α _K = 1 , se puede encontrar una muestra de la distribución extrayendo aleatoriamente un conjunto de K − 1 valores de forma independiente y uniforme del intervalo [0, 1] , agregando los valores 0 y 1 al conjunto para que tenga K + 1 valores, ordenando el conjunto y calculando la diferencia entre cada par de valores adyacentes en orden, para obtener x ₁ , ..., x _K .

Cuando α ₁ = ... = α _K = 1/2 , se puede encontrar una muestra de la distribución extrayendo aleatoriamente K valores independientemente de la distribución normal estándar, elevando al cuadrado estos valores y normalizándolos dividiéndolos por su suma, para obtener x ₁ , ..., x _K .

Se puede extraer un punto ( x₁ _, ..., xₖ ) de _forma uniforme y aleatoria de la hiperesfera unitaria de dimensión ( K -1 ) (que es la superficie de una hiperbola de dimensión K ) mediante un procedimiento similar. Se extraen aleatoriamente K valores de forma independiente de la distribución normal estándar y se normalizan estos valores de coordenadas dividiendo cada uno por la constante que es la raíz cuadrada de la suma de sus cuadrados.