Modelo de mezcla

Un modelo de mezcla típico de dimensión finita es un modelo jerárquico que consta de los siguientes componentes:

• N variables aleatorias que se observan, cada una distribuida según una mezcla de K componentes, con los componentes pertenecientes a la misma familia paramétrica de distribuciones (por ejemplo, todas normales , todas zipfianas , etc.) pero con diferentes parámetros. Sin embargo, también es posible tener un modelo de mezcla finita donde cada componente pertenece a una familia paramétrica de distribuciones diferente, ^{[ 1 ]} por ejemplo, una mezcla de una distribución normal multivariada y una distribución hiperbólica generalizada .

• N variables latentes aleatorias que especifican la identidad del componente de mezcla de cada observación, cada una distribuida según una distribución categórica K -dimensional.
• Un conjunto de K ponderaciones de mezcla, que son probabilidades que suman 1.
• Un conjunto de K parámetros, cada uno de los cuales especifica el parámetro del componente de mezcla correspondiente. En muchos casos, cada "parámetro" es en realidad un conjunto de parámetros. Por ejemplo, si los componentes de la mezcla son distribuciones gaussianas , habrá una media y una varianza para cada componente. Si los componentes de la mezcla son distribuciones categóricas (por ejemplo, cuando cada observación es una ficha de un alfabeto finito de tamaño V ), habrá un vector de V probabilidades cuya suma es 1.

Además, en un contexto bayesiano , los pesos y parámetros de la mezcla serán variables aleatorias, y se les asignarán distribuciones a priori . En tal caso, los pesos se suelen considerar como un vector aleatorio K -dimensional extraído de una distribución de Dirichlet (la distribución a priori conjugada de la distribución categórica), y los parámetros se distribuirán según sus respectivas distribuciones a priori conjugadas.

Matemáticamente, un modelo básico de mezcla paramétrica se puede describir de la siguiente manera:

${\displaystyle {\begin{array}{lcl}K&=&{\text{number of mixture components}}\\N&=&{\text{number of observations}}\\\theta _{i=1\dots K}&=&{\text{parameter of distribution of observation associated with component }}i\\\phi _{i=1\dots K}&=&{\text{mixture weight, i.e., prior probability of a particular component }}i\\{\boldsymbol {\phi }}&=&K{\text{-dimensional vector composed of all the individual }}\phi _{1\dots K}{\text{; must sum to 1}}\\z_{i=1\dots N}&=&{\text{component of observation }}i\\x_{i=1\dots N}&=&{\text{observation }}i\\F(x|\theta )&=&{\text{probability distribution of an observation, parametrized on }}\theta \\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}|z_{i=1\dots N}&\sim &F(\theta _{z_{i}})\end{array}}}$

En un entorno bayesiano, todos los parámetros están asociados con variables aleatorias, como sigue:

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{as above}}\\\theta _{i=1\dots K},\phi _{i=1\dots K},{\boldsymbol {\phi }}&=&{\text{as above}}\\z_{i=1\dots N},x_{i=1\dots N},F(x|\theta )&=&{\text{as above}}\\\alpha &=&{\text{shared hyperparameter for component parameters}}\\\beta &=&{\text{shared hyperparameter for mixture weights}}\\H(\theta |\alpha )&=&{\text{prior probability distribution of component parameters, parametrized on }}\alpha \\\theta _{i=1\dots K}&\sim &H(\theta |\alpha )\\{\boldsymbol {\phi }}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta )\\z_{i=1\dots N}|{\boldsymbol {\phi }}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}|z_{i=1\dots N},\theta _{i=1\dots K}&\sim &F(\theta _{z_{i}})\end{array}}}$

Esta caracterización utiliza F y H para describir distribuciones arbitrarias sobre observaciones y parámetros, respectivamente. Típicamente, H será la distribución a priori conjugada de F. Las dos opciones más comunes para F son la gaussiana , también conocida como " normal " (para observaciones de valor real), y la categórica (para observaciones discretas). Otras posibilidades comunes para la distribución de los componentes de la mezcla son:

• Distribución binomial , para el número de "ocurrencias positivas" (por ejemplo, éxitos, votos afirmativos, etc.) dado un número fijo de ocurrencias totales.
• Distribución multinomial , similar a la distribución binomial, pero para recuentos de ocurrencias múltiples (por ejemplo, sí/no/tal vez en una encuesta).
• Distribución binomial negativa , para observaciones de tipo binomial pero donde la cantidad de interés es el número de fallos antes de que ocurra un número determinado de éxitos.
• Distribución de Poisson , para el número de ocurrencias de un evento en un período de tiempo determinado, para un evento que se caracteriza por una tasa de ocurrencia fija.
• Distribución exponencial , para el tiempo antes de que ocurra el siguiente evento, para un evento que se caracteriza por una tasa de ocurrencia fija.
• Distribución log-normal , para números reales positivos que se supone que crecen exponencialmente, como los ingresos o los precios.
• Distribución normal multivariada (también conocida como distribución gaussiana multivariada), para vectores de resultados correlacionados que tienen una distribución gaussiana individual.
• Distribución t de Student multivariada , para vectores de resultados correlacionados de cola pesada ^{[ 2 ]}
• Un vector de valores con distribución de Bernoulli , que corresponde, por ejemplo, a una imagen en blanco y negro, donde cada valor representa un píxel; véase el ejemplo de reconocimiento de escritura a mano a continuación.

Los rendimientos financieros suelen comportarse de forma diferente en situaciones normales y durante las crisis. Un modelo de mezcla ^{[ 4 ]} para los datos de rendimiento parece razonable. A veces se utiliza un modelo de difusión con saltos o una mezcla de dos distribuciones normales. Consulte Economía financiera §  Desafíos y críticas y Gestión del riesgo financiero §  Banca para obtener más información.

Supongamos que observamos los precios de N casas diferentes. Los distintos tipos de casas en diferentes barrios tendrán precios muy diferentes, pero el precio de un tipo de casa en un barrio específico (por ejemplo, una casa de tres habitaciones en un barrio de clase media-alta) tenderá a agruparse bastante cerca de la media. Un posible modelo para estos precios sería suponer que se describen con precisión mediante un modelo de mezcla con K componentes diferentes, cada uno distribuido como una distribución normal con media y varianza desconocidas, donde cada componente especifica una combinación particular de tipo de casa y barrio. Ajustar este modelo a los precios observados, por ejemplo, utilizando el algoritmo de maximización de la esperanza , tendería a agrupar los precios según el tipo de casa y el barrio, y revelaría la dispersión de precios en cada tipo y barrio. (Cabe señalar que para valores como precios o ingresos que se garantiza que son positivos y que tienden a crecer exponencialmente , una distribución log-normal podría ser un modelo mejor que una distribución normal).

Supongamos que un documento se compone de N palabras diferentes de un vocabulario total de tamaño V , donde cada palabra corresponde a uno de K temas posibles. La distribución de dichas palabras podría modelarse como una mezcla de K distribuciones categóricas V -dimensionales diferentes . Un modelo de este tipo se denomina comúnmente modelo de temas . Cabe señalar que la maximización de la esperanza aplicada a dicho modelo generalmente no produce resultados realistas, debido (entre otras cosas) al número excesivo de parámetros . Por lo general, se requieren ciertos supuestos adicionales para obtener buenos resultados. Normalmente, se añaden dos tipos de componentes adicionales al modelo:

1. Se aplica una distribución previa a los parámetros que describen las distribuciones temáticas, utilizando una distribución de Dirichlet con un parámetro de concentración significativamente inferior a 1, para fomentar distribuciones dispersas (donde solo un pequeño número de palabras tienen probabilidades significativamente distintas de cero).
2. Se impone algún tipo de restricción adicional sobre la identidad temática de las palabras, para aprovechar la agrupación natural.
   • Por ejemplo, se podría aplicar una cadena de Markov a las identidades de los temas (es decir, las variables latentes que especifican el componente de mezcla de cada observación), dado que las palabras cercanas pertenecen a temas similares. (Esto da como resultado un modelo oculto de Markov , específicamente uno en el que se aplica una distribución a priori a las transiciones de estado que favorece las transiciones que permanecen en el mismo estado).
   • Otra posibilidad es el modelo de asignación latente de Dirichlet , que divide las palabras en D documentos diferentes y supone que en cada documento solo aparece con cierta frecuencia un pequeño número de temas.

El siguiente ejemplo se basa en un ejemplo de Christopher M. Bishop , Pattern Recognition and Machine Learning . ^{[ 5 ]}

Imaginemos que se nos da una imagen en blanco y negro de N × N que se sabe que es un escaneo de un dígito escrito a mano entre 0 y 9, pero no sabemos qué dígito está escrito. Podemos crear un modelo de mezcla con${\displaystyle K=10}$diferentes componentes, donde cada componente es un vector de tamaño${\displaystyle N^{2}}$de distribuciones de Bernoulli (una por píxel). Este modelo se puede entrenar con el algoritmo de maximización de la esperanza en un conjunto de dígitos escritos a mano sin etiquetar, y agrupará las imágenes según el dígito escrito. El mismo modelo podría utilizarse para reconocer el dígito de otra imagen simplemente manteniendo los parámetros constantes, calculando la probabilidad de la nueva imagen para cada dígito posible (un cálculo sencillo) y devolviendo el dígito que generó la mayor probabilidad.

Los modelos de mezcla se aplican al problema de dirigir múltiples proyectiles hacia un objetivo (como en aplicaciones de defensa aérea, terrestre o marítima), donde las características físicas y/o estadísticas de los proyectiles difieren entre sí. Un ejemplo podría ser disparos de múltiples tipos de munición o disparos desde múltiples ubicaciones dirigidos a un mismo objetivo. La combinación de tipos de proyectiles puede caracterizarse como un modelo de mezcla gaussiana. ^{[ 6 ]} Además, una medida de precisión bien conocida para un grupo de proyectiles es el error circular probable (ECP), que es el número R tal que, en promedio, la mitad del grupo de proyectiles cae dentro del círculo de radio R alrededor del punto objetivo. El modelo de mezcla puede utilizarse para determinar (o estimar) el valor de R. El modelo de mezcla captura adecuadamente los diferentes tipos de proyectiles.

El ejemplo financiero anterior es una aplicación directa del modelo de mezcla, una situación en la que asumimos un mecanismo subyacente de modo que cada observación pertenece a una de varias fuentes o categorías diferentes. Sin embargo, este mecanismo subyacente puede ser observable o no. En esta forma de mezcla, cada una de las fuentes se describe mediante una función de densidad de probabilidad de componente, y su peso de mezcla es la probabilidad de que una observación provenga de dicho componente.

En una aplicación indirecta del modelo de mezcla, no asumimos tal mecanismo. El modelo de mezcla se utiliza simplemente por su flexibilidad matemática. Por ejemplo, una mezcla de dos distribuciones normales con medias diferentes puede dar como resultado una densidad con dos modas , lo cual no se modela con las distribuciones paramétricas estándar. Otro ejemplo lo proporciona la posibilidad de que las distribuciones de mezcla modelen colas más pesadas que las distribuciones gaussianas básicas, lo que las convierte en candidatas para modelar eventos más extremos.

El agrupamiento basado en modelos de mezcla también se utiliza predominantemente para identificar el estado de la máquina en el mantenimiento predictivo . Los gráficos de densidad se utilizan para analizar la densidad de características de alta dimensión. Si se observan densidades de múltiples modelos, se supone que un conjunto finito de densidades se forma mediante un conjunto finito de mezclas normales. Se utiliza un modelo de mezcla gaussiana multivariante para agrupar los datos de características en k grupos, donde k representa cada estado de la máquina. El estado de la máquina puede ser normal, apagado o con fallas. ^{[ 7 ]} Cada grupo formado se puede diagnosticar utilizando técnicas como el análisis espectral. En los últimos años, esto también se ha utilizado ampliamente en otras áreas, como la detección temprana de fallas. ^{[ 8 ]}

En el procesamiento de imágenes y la visión por computadora , los modelos tradicionales de segmentación de imágenes suelen asignar a cada píxel un único patrón exclusivo. En la segmentación difusa o suave, cualquier patrón puede tener cierta "propiedad" sobre cualquier píxel individual. Si los patrones son gaussianos, la segmentación difusa da como resultado mezclas gaussianas. Combinados con otras herramientas analíticas o geométricas (por ejemplo, transiciones de fase sobre límites difusos), estos modelos de mezcla espacialmente regularizados podrían conducir a métodos de segmentación más realistas y computacionalmente eficientes. ^{[ 9 ]}

Los modelos de mezcla probabilísticos, como los modelos de mezcla gaussiana (GMM), se utilizan para resolver problemas de registro de conjuntos de puntos en los campos del procesamiento de imágenes y la visión por computadora. Para el registro de pares de conjuntos de puntos , un conjunto de puntos se considera como los centroides de los modelos de mezcla, y el otro conjunto de puntos se considera como puntos de datos (observaciones). Los métodos de vanguardia son, por ejemplo, la deriva coherente de puntos (CPD) ^{[ 10 ]} y los modelos de mezcla de distribución t de Student (TMM) ^{[ 11 ]} . Los resultados de investigaciones recientes demuestran la superioridad de los modelos de mezcla híbridos ^{[ 12 ]} (por ejemplo, la combinación de la distribución t de Student y la distribución de Watson/ distribución de Bingham para modelar posiciones espaciales y orientaciones de ejes por separado) en comparación con CPD y TMM, en términos de robustez inherente, precisión y capacidad discriminativa.

Los modelos de mezcla se utilizan ampliamente en las ciencias sociales para agrupar datos observacionales e identificar estructuras grupales latentes en poblaciones complejas y heterogéneas. En estudios sobre conflictos armados ^{[ 13 ]} , se ha aplicado la agrupación no supervisada basada en modelos de mezcla a datos de eventos de conflicto para agrupar observaciones en tipos de conflicto derivados empíricamente, sin depender de categorías predefinidas. Estos análisis revelan diferencias sistemáticas entre los grupos en características geográficas, demográficas, económicas y de infraestructura, que corresponden a arquetipos de conflicto distintos asociados con diferentes perfiles de población y desarrollo. Este es uno de los numerosos ejemplos de cómo los modelos de mezcla pueden respaldar la clasificación basada en datos en la investigación en ciencias sociales.

Sea J la clase de todas las distribuciones binomiales con n = 2. Entonces, una mezcla de dos miembros de J tendría

$${\displaystyle {\begin{aligned}p_{0}&=\pi {\left(1-\theta _{1}\right)}^{2}+\left(1-\pi \right){\left(1-\theta _{2}\right)}^{2}\\[1ex]p_{1}&=2\pi \theta _{1}\left(1-\theta _{1}\right)+2\left(1-\pi \right)\theta _{2}\left(1-\theta _{2}\right)\end{aligned}}}$$

y p ₂ = 1 − p ₀ − p ₁ . Claramente, dados p ₀ y p ₁ , no es posible determinar el modelo de mezcla anterior de forma única, ya que hay tres parámetros ( π , θ ₁ , θ ₂ ) que deben determinarse.

Consideremos una mezcla de distribuciones paramétricas de la misma clase. Sea

$${\displaystyle J=\{f(\cdot$$ ;\theta ):\theta \in \Omega \}}

Sea J la clase de todas las distribuciones componentes. Entonces, la envoltura convexa K de J define la clase de todas las mezclas finitas de distribuciones en J :

$${\displaystyle K=\left\{p(\cdot ):p(\cdot )=\sum _{i=1}^{n}a_{i}f_{i}(\cdot$$ ;\theta _{i}),a_{i}>0,\sum _{i=1}^{n}a_{i}=1,f_{i}(\cdot  ;\theta _{i})\in J\ \forall i,n\right\}}

Se dice que K es identificable si todos sus miembros son únicos, es decir, dados dos miembros p y p ′ en K , que son mezclas de distribuciones k ydistribuciones k ′ respectivamente en J , tenemos p = p ′ si y solo si, en primer lugar, k = k ′ y en segundo lugar podemos reordenar las sumas de tal manera que a _i = a _i ′ y f _i = f _i ′ para todo i .

La maximización de la esperanza (ME) es aparentemente la técnica más popular para determinar los parámetros de una mezcla con un número de componentes dado a priori . Esta es una forma particular de implementar la estimación de máxima verosimilitud para este problema. La ME resulta particularmente atractiva para mezclas normales finitas donde son posibles expresiones de forma cerrada, como en el siguiente algoritmo iterativo de Dempster et al. (1977) ^{[ 17 ] .}

${\displaystyle w_{s}^{(j+1)}={\frac {1}{N}}\sum _{t=1}^{N}h_{s}^{(j)}(t)}$

${\displaystyle \mu _{s}^{(j+1)}={\frac {\sum _{t=1}^{N}h_{s}^{(j)}(t)x^{(t)}}{\sum _{t=1}^{N}h_{s}^{(j)}(t)}}}$

${\displaystyle \Sigma _{s}^{(j+1)}={\frac {\sum _{t=1}^{N}h_{s}^{(j)}(t)[x^{(t)}-\mu _{s}^{(j+1)}][x^{(t)}-\mu _{s}^{(j+1)}]^{\top }}{\sum _{t=1}^{N}h_{s}^{(j)}(t)}}}$

con las probabilidades posteriores

${\displaystyle h_{s}^{(j)}(t)={\frac {w_{s}^{(j)}p_{s}(x^{(t)};\mu _{s}^{(j)},\Sigma _{s}^{(j)})}{\sum _{i=1}^{n}w_{i}^{(j)}p_{i}(x^{(t)};\mu _{i}^{(j)},\Sigma _{i}^{(j)})}}.}$

Así, basándose en la estimación actual de los parámetros, se determina la probabilidad condicional de que una observación dada x ^{( t )} se genere a partir del estado s para cada t = 1, …, N  ; donde N es el tamaño de la muestra. A continuación, se actualizan los parámetros de manera que los nuevos pesos de los componentes correspondan a la probabilidad condicional promedio, y la media y la covarianza de cada componente sean el promedio ponderado específico del componente de la media y la covarianza de toda la muestra.

Dempster ^{[ 17 ]} también demostró que cada iteración sucesiva de EM no disminuye la verosimilitud, una propiedad que no comparten otras técnicas de maximización basadas en gradientes. Además, EM incorpora de forma natural restricciones en el vector de probabilidad y, para tamaños de muestra suficientemente grandes, la positividad definida de la covarianza itera. Esta es una ventaja clave, ya que los métodos con restricciones explícitas implican costes computacionales adicionales para comprobar y mantener valores apropiados. Teóricamente, EM es un algoritmo de primer orden y, como tal, converge lentamente a una solución de punto fijo. Redner y Walker (1984) hacen hincapié en este punto, argumentando a favor de los métodos superlineales y de Newton y cuasi-Newton de segundo orden, e informando de una convergencia lenta en EM basándose en sus pruebas empíricas. Admiten que la convergencia en la verosimilitud fue rápida, aunque la convergencia en los valores de los parámetros no lo fue. Las ventajas relativas de EM y otros algoritmos con respecto a la convergencia se han discutido en otras publicaciones. ^{[ 18 ]}

Otras objeciones comunes al uso de EM son que tiene una propensión a identificar espuriamente máximos locales, así como mostrar sensibilidad a los valores iniciales. ^{[ 19 ] [ 20 ]} Se pueden abordar estos problemas evaluando EM en varios puntos iniciales en el espacio de parámetros, pero esto es computacionalmente costoso y otros enfoques, como el método EM de recocido de Udea y Nakano (1998) (en el que los componentes iniciales se fuerzan esencialmente a superponerse, proporcionando una base menos heterogénea para las estimaciones iniciales), pueden ser preferibles.

Figueiredo y Jain ^{[ 15 ]} señalan que la convergencia a valores de parámetros "sin sentido" obtenidos en el límite (donde se rompen las condiciones de regularidad, por ejemplo, Ghosh y Sen (1985)) se observa con frecuencia cuando el número de componentes del modelo excede el óptimo/verdadero. Sobre esta base, sugieren un enfoque unificado para la estimación e identificación en el que el n inicial se elige de manera que supere ampliamente el valor óptimo esperado. Su rutina de optimización se construye mediante un criterio de longitud mínima de mensaje (MML) que elimina eficazmente un componente candidato si no hay suficiente información para respaldarlo. De esta manera, es posible sistematizar las reducciones en n y considerar la estimación y la identificación conjuntamente.

Como alternativa al algoritmo EM, los parámetros del modelo de mezcla pueden deducirse mediante muestreo posterior, según lo indica el teorema de Bayes . Esto sigue considerándose un problema de datos incompletos, donde la pertenencia a un grupo constituye el dato faltante. Se puede utilizar un procedimiento iterativo de dos pasos conocido como muestreo de Gibbs .

El ejemplo anterior de una mezcla de dos distribuciones gaussianas puede ilustrar el funcionamiento del método. Como antes, se realizan estimaciones iniciales de los parámetros del modelo de mezcla. En lugar de calcular la pertenencia parcial a cada distribución elemental, se extrae un valor de pertenencia para cada punto de datos de una distribución de Bernoulli (es decir, se asignará a la primera o a la segunda gaussiana). El parámetro de Bernoulli θ se determina para cada punto de datos en función de una de las distribuciones constituyentes. Las extracciones de la distribución generan asociaciones de pertenencia para cada punto de datos. A continuación, se pueden utilizar estimadores de sustitución, como en el paso M del EM, para generar un nuevo conjunto de parámetros del modelo de mezcla, y se repite el paso de extracción binomial.

El método de igualación de momentos es una de las técnicas más antiguas para determinar los parámetros de la mezcla, que se remonta al trabajo fundamental de Karl Pearson de 1894. En este enfoque, los parámetros de la mezcla se determinan de manera que la distribución compuesta tenga momentos que coincidan con un valor dado. En muchos casos, la extracción de soluciones a las ecuaciones de momentos puede presentar problemas algebraicos o computacionales no triviales. Además, el análisis numérico de Day ^{[ 21 ]} ha indicado que estos métodos pueden ser ineficientes en comparación con el método EM. No obstante, ha habido un renovado interés en este método, por ejemplo, Craigmile y Titterington (1998) y Wang ^{[ 22 ] .}

McWilliam y Loh (2009) analizan la caracterización de una cópula de mezcla normal hipercuboide en sistemas de gran dimensión para los que el método EM resultaría computacionalmente prohibitivo. En este trabajo, se utiliza una rutina de análisis de patrones para generar dependencias de cola multivariadas consistentes con un conjunto de momentos univariados y (en cierto sentido) bivariados. El rendimiento de este método se evalúa posteriormente utilizando datos de rentabilidad logarítmica de acciones, con estadísticos de prueba de Kolmogorov-Smirnov que sugieren un buen ajuste descriptivo.

Algunos problemas en la estimación de modelos de mezcla se pueden resolver utilizando métodos espectrales . En particular, resulta útil si los puntos de datos x _i son puntos en un espacio real de alta dimensión y se sabe que las distribuciones ocultas son logarítmicamente cóncavas (como la distribución gaussiana o la distribución exponencial ).

Los métodos espectrales para el aprendizaje de modelos de mezcla se basan en la descomposición en valores singulares de una matriz que contiene datos. La idea consiste en considerar los k vectores singulares principales, donde k es el número de distribuciones que se van a aprender. La proyección de cada dato sobre un subespacio lineal generado por estos vectores agrupa los puntos que provienen de la misma distribución muy cerca unos de otros, mientras que los puntos de distribuciones diferentes permanecen alejados.

Una característica distintiva del método espectral es que nos permite demostrar que si las distribuciones satisfacen cierta condición de separación (por ejemplo, no están demasiado cerca), entonces la mezcla estimada estará muy cerca de la verdadera con alta probabilidad.

Tarter y Lock ^{[ 14 ]} describen un método gráfico para la identificación de mezclas en el que se aplica una función kernel a un gráfico de frecuencia empírica para reducir la varianza intracomponente. De esta forma, se pueden identificar más fácilmente los componentes con medias diferentes. Si bien este método λ no requiere conocimiento previo del número o la forma funcional de los componentes, su éxito depende de la elección de los parámetros del kernel, que en cierta medida incorporan implícitamente supuestos sobre la estructura de los componentes.

Algunos de ellos incluso pueden aprender mezclas de distribuciones de cola pesada, incluidas aquellas con varianza infinita (véanse los enlaces a los artículos a continuación). En este contexto, los métodos basados ​​en EM no funcionarían, ya que el paso de Expectativa divergiría debido a la presencia de valores atípicos .

Para simular una muestra de tamaño N que proviene de una mezcla de distribuciones F _i , i =1 a n , con probabilidades p _i (suma= p _i = 1):   

1. Genera N números aleatorios a partir de una distribución categórica de tamaño n y probabilidades p _i para i =  1  a n . Estas te indican de cuál de las F _i provendrá cada uno de los N valores. Denota por m _i la cantidad de números aleatorios asignados a la i- ^ésima categoría. 
2. Para cada i , genere m _i números aleatorios de la distribución F _i .

• Densidad de la mezcla
• Mezcla (probabilidad)
• Modelo de mezcla flexible (FMM)
• modelo de mezcla gaussiana subespacial
• mónada de Giry
• Evaluación híbrida HELIOS del ciclo de vida y el impacto de la ciencia excepcional

• Modelo gráfico
• Modelo bayesiano jerárquico

• ransac

• Everitt, BS; Hand, DJ (1981). Distribuciones de mezcla finita . Chapman & Hall. ISBN 978-0-412-22420-1.
• Lindsay, BG (1995). Modelos de mezcla: teoría, geometría y aplicaciones . Serie de conferencias regionales NSF-CBMS sobre probabilidad y estadística. Vol.  5. Hayward: Instituto de Estadística Matemática.
• Marin, JM; Mengersen, K .; Robert, CP (2011). «Modelado bayesiano e inferencia sobre mezclas de distribuciones» (PDF) . En Dey, D.; Rao, CR (eds.). Modelos bayesianos esenciales . Manual de estadística: pensamiento bayesiano: modelado y computación. Vol.  25. Elsevier. ISBN 9780444537324.
• McLachlan, GJ; Peel, D. (2000). Modelos de mezcla finita . Wiley. ISBN 978-0-471-00626-8.
• Press, WH ; Teukolsky, SA ; Vetterling, WT; Flannery, BP (2007). «Sección 16.1. Modelos de mezcla gaussiana y agrupamiento k-medias» . Numerical Recipes : The Art of Scientific Computing (3.ª  ed.). Nueva York: Cambridge University Press. ISBN 978-0-521-88068-8.
• Titterington, M.; Smith, A.; Makov, U. (1985). Análisis estadístico de distribuciones de mezclas finitas . Wiley. ISBN 978-0-471-90763-3.
• Yao, W.; Xiang, S. (2024). Modelos de mezcla: paramétricos, semiparamétricos y nuevas direcciones . Chapman & Hall/CRC Press. ISBN 978-0367481827.

1. Reynolds, DA; Rose, RC (enero de 1995). "Identificación robusta de locutores independiente del texto mediante modelos de locutores de mezcla gaussiana". IEEE Transactions on Speech and Audio Processing . 3 (1): 72– 83. Bibcode : 1995ITSAP...3...72R . doi : 10.1109/89.365379 . S2CID 7319345 . 
2. Permuter, H.; Francos, J.; Jermyn, IH (2003). Modelos de mezcla gaussiana de textura y color para la recuperación de bases de datos de imágenes . Conferencia Internacional IEEE sobre Acústica, Habla y Procesamiento de Señales , 2003. Actas (ICASSP '03). doi : 10.1109/ICASSP.2003.1199538 .
   • Permuter, Haim; Francos, Joseph; Jermyn, Ian (2006). "Un estudio de modelos de mezcla gaussiana de características de color y textura para la clasificación y segmentación de imágenes" (PDF) . Pattern Recognition . 39 (4): 695– 706. Bibcode : 2006PatRe..39..695P . doi : 10.1016/j.patcog.2005.10.028 . S2CID 8530776 . 
3. Lemke, Wolfgang (2005). Modelado y estimación de la estructura temporal en un marco de espacio de estados . Springer Verlag. ISBN 978-3-540-28342-3.
4. Brigo, Damiano ; Mercurio, Fabio (2001). Difusiones desplazadas y de mezcla para modelos de sonrisa analíticamente tratables . Finanzas Matemáticas – Congreso Bachelier 2000. Actas. Springer Verlag.
5. Brigo, Damiano; Mercurio, Fabio (junio de 2002). "Dinámica de mezcla lognormal y calibración a las sonrisas de volatilidad del mercado". International Journal of Theoretical and Applied Finance . 5 (4): 427. CiteSeerX 10.1.1.210.4165 . doi : 10.1142/S0219024902001511 . 
6. Spall, JC; Maryak, JL (1992). "Un estimador bayesiano factible de cuantiles para la precisión de proyectiles a partir de datos no i.i.d." Journal of the American Statistical Association . 87 (419): 676– 681. doi : 10.1080/01621459.1992.10475269 . JSTOR 2290205 . 
7. Alexander, Carol (diciembre de 2004). "Difusión de mezcla normal con volatilidad incierta: modelado de efectos de sonrisa a corto y largo plazo" (PDF) . Journal of Banking & Finance . 28 (12): 2957–80 . doi : 10.1016/j.jbankfin.2003.10.017 .
8. Stylianou, Yannis; Pantazis, Yannis; Calderero, Felipe; Larroy, Pedro; Severin, Francois; Schimke, Sascha; Bonal, Rolando; Matta, Federico; Valsamakis, Atanasio (2005). Verificación biométrica multimodal basada en GMM (PDF) .
9. Chen, J.; Adebomi, O.E.; Olusayo, O.S.; Kulesza, W. (2010). Evaluación del enfoque de densidad de hipótesis de probabilidad de mezcla gaussiana para el seguimiento de múltiples objetivos . Conferencia Internacional IEEE sobre Sistemas y Técnicas de Imagen , 2010. doi : 10.1109/IST.2010.5548541 .{{cite conference}}: CS1 maint: nombres numéricos: lista de autores ( enlace )