En teoría de la probabilidad , el proceso del restaurante chino es un proceso estocástico de tiempo discreto , análogo a la asignación de mesas a los clientes en un restaurante. Imaginemos un restaurante con un número infinito de mesas circulares, cada una con capacidad infinita. El cliente 1 se sienta en la primera mesa. El siguiente cliente se sienta en la misma mesa que el cliente 1 o en la siguiente. Esto continúa, y cada cliente elige sentarse en una mesa ocupada con una probabilidad proporcional al número de clientes ya presentes (es decir, es más probable que se siente en una mesa con muchos clientes que con pocos), o en una mesa desocupada. En el instante n , los n clientes se han repartido entre m ≤ n mesas (o bloques de la partición). Los resultados de este proceso son intercambiables , lo que significa que el orden en que se sientan los clientes no afecta la probabilidad de la distribución final . Esta propiedad simplifica enormemente varios problemas en genética de poblaciones , análisis lingüístico y reconocimiento de imágenes .
La analogía del restaurante apareció por primera vez en un artículo de 1985 de David Aldous , [ 1 ] donde se atribuyó a Jim Pitman (quien además le da crédito a Lester Dubins ). [ 2 ]
Un proceso de partición equivalente fue publicado un año antes por Fred Hoppe , [ 3 ] utilizando un "esquema de urna" similar a la urna de Pólya . En comparación con el modelo de urna de Hoppe, el proceso del restaurante chino tiene la ventaja de que se presta naturalmente a describir permutaciones aleatorias a través de su estructura cíclica, además de describir particiones aleatorias.
Definición formal
Para cualquier entero positivo, dejardenotamos el conjunto de todas las particiones del conjuntoEl proceso del restaurante chino toma valores en el producto cartesiano infinito..
El valor del proceso en el momentoes una particióndel conjunto, cuya distribución de probabilidad se determina de la siguiente manera. En el tiempo, la partición trivialse obtiene (con probabilidad uno). En el tiempoel elemento "" es o bien:
- añadido a uno de los bloques de la particióndonde cada bloque se elige con probabilidaddóndees el tamaño del bloque (es decir, el número de elementos), o
- añadido a la particióncomo un nuevo bloque singleton, con probabilidad.
La partición aleatoria así generada tiene algunas propiedades especiales. Es intercambiable en el sentido de que se puede volver a etiquetar.no cambia la distribución de la partición y es consistente en el sentido de que la ley de la partición deobtenido al eliminar el elementode la partición aleatoriaes lo mismo que la ley de la partición aleatoria.
La probabilidad asignada a cualquier partición en particular (ignorando el orden en que los clientes se sientan alrededor de una mesa en particular) es
dóndees un bloque en la particiónyes el tamaño de.
La definición puede generalizarse introduciendo un parámetro.lo cual modifica la probabilidad de que el nuevo cliente se siente en una mesa nueva ay modifica correspondientemente la probabilidad de que se sienten en una mesa de tamañoa. El proceso básico presentado anteriormente se puede recuperar configurandoIntuitivamente,puede interpretarse como el número efectivo de clientes sentados en la primera mesa vacía.
Definición alternativa
Una forma equivalente, aunque sutilmente diferente, de definir el proceso del restaurante chino, es permitir que los nuevos clientes elijan acompañantes en lugar de mesas. [ 4 ] Clienteelige sentarse en la misma mesa que cualquiera de losclientes sentados con probabilidado elige sentarse en una mesa nueva y desocupada con probabilidad. Observe que en esta formulación, el cliente elige una mesa sin tener que contar las mesas ocupadas; no necesitamos.
Distribución del número de tablas
La distribución de mesas en restaurantes chinos ( CRT ) es la distribución de probabilidad sobre el número de mesas en el proceso de un restaurante chino. [ 5 ] Se puede entender como la suma deVariables aleatorias de Bernoulli independientes , cada una con un parámetro diferente:
La función de masa de probabilidad deviene dado por [ 6 ]
dóndedenota números de Stirling de primera especie .
Generalización de dos parámetros
Esta construcción se puede generalizar a un modelo con dos parámetros,&, [ 2 ] [ 7 ] comúnmente llamados parámetros de fuerza (o concentración ) y descuento respectivamente. En el tiempo, el siguiente cliente que llega encuentramesas ocupadas y decide sentarse en una mesa vacía con probabilidad
o en una mesa ocupadade tamañocon probabilidad
Para que la construcción defina una medida de probabilidad válida es necesario suponer que o bienypara algunos; o quey.
Según este modelo, la probabilidad asignada a cualquier partición en particular es la siguiente:de, puede expresarse en el caso general (para cualquier valor deque satisfacen las restricciones mencionadas anteriormente) en términos del símbolo k de Pochhammer , como
donde el símbolo k de Pochhammer se define de la siguiente manera: por convención,y para
dóndees el factorial creciente yes el factorial descendente . Vale la pena señalar que para la configuración de parámetros dondey, entonces, que se evalúa a cero siempre que, de modo quees un límite superior para el número de bloques en la partición; consulte la subsección sobre el modelo categórico de Dirichlet a continuación para obtener más detalles.
Para el caso en quey, la probabilidad de partición se puede reescribir en términos de la función Gamma como
En el caso de un parámetro, dondees cero yesto se simplifica a
O cuandoes cero y
Como antes, la probabilidad asignada a cualquier partición depende únicamente del tamaño de los bloques, por lo que, al igual que antes, la partición aleatoria es intercambiable en el sentido descrito anteriormente. La propiedad de consistencia se mantiene, como antes, por construcción.
Si, la distribución de probabilidad de la partición aleatoria del enteroDe esta forma se genera la distribución de Ewens con parámetro, utilizado en genética de poblaciones y en la teoría neutral unificada de la biodiversidad .
Derivación
Aquí hay una forma de derivar esta probabilidad de partición. Seasea el bloque aleatorio en el que se encuentra el númerose agrega, para. Entonces
La probabilidad de quees cualquier partición particular del conjuntoes el producto de estas probabilidades comocorre desdeaAhora consideremos el tamaño del bloque.: aumenta en uno cada vez que le agregamos un elemento. Cuando el último elemento en el bloquese debe agregar, el tamaño del bloque es. Por ejemplo, considere esta secuencia de opciones: (generar un nuevo bloque)(unirse)(unirse)(unirse). Al final, bloquetiene 4 elementos y el producto de los numeradores en la ecuación anterior esSiguiendo esta lógica, obtenemoscomo se indicó anteriormente.
Número esperado de tablas
Para el caso de un parámetro, cony, el número de mesas se distribuye según la distribución de mesas de los restaurantes chinos . El valor esperado de esta variable aleatoria, dado que hayclientes sentados, es [ 9 ]
dóndees la función digamma . Para el caso de dos parámetros, para, el número esperado de mesas ocupadas es [ 7 ]
dóndees el factorial ascendente (tal como se definió anteriormente).
El modelo categórico de Dirichlet
Para la elección de parámetrosy, dóndeEl proceso del restaurante chino de dos parámetros es equivalente al modelo categórico de Dirichlet , que es un modelo jerárquico que se puede definir de la siguiente manera. Nótese que para esta configuración de parámetros, la probabilidad de ocupar una nueva mesa, cuando ya haymesas ocupadas, es cero; por lo que el número de mesas ocupadas está limitado superiormente por. Si elegimos identificar tablas con etiquetas que toman valores en, luego generar una partición aleatoria del conjunto, el modelo jerárquico primero dibuja una distribución de etiquetas categóricas ,de la distribución de Dirichlet simétrica , con parámetro de concentración. Luego, de forma independiente para cada uno de losclientes, la etiqueta de la tabla se extrae de la categoríaDado que la distribución de Dirichlet es conjugada a la categórica, la variable ocultase puede marginalizar para obtener la distribución predictiva posterior para el siguiente estado de etiqueta,, dadoetiquetas anteriores
dóndees el número de clientes que ya están sentados en la mesa. Cony, esto concuerda con la fórmula general anterior,, para la probabilidad de sentarse en una mesa ocupada cuando. La probabilidad de sentarse en cualquiera de loslas tablas desocupadas también concuerdan con la fórmula general y se dan por
La probabilidad marginal para las etiquetas viene dada por
dóndeyes el factorial ascendente . En general, sin embargo, existen múltiples estados de etiquetas que corresponden a la misma partición. Para una partición dada,, que tienebloques, el número de estados de etiquetas que corresponden a esta partición viene dado por el factorial descendente ,. Teniendo esto en cuenta, la probabilidad de la partición es
lo cual puede verificarse que coincide con la versión general de la probabilidad de partición que se da arriba en términos del símbolo k de Pochhammer. Nótese de nuevo que siestá fuera del soporte, es decir, el factorial descendente,se evalúa a cero como debería. (Implementaciones prácticas que evalúan la probabilidad logarítmica para particiones a través de regresará, cuando sea(según sea necesario.)
Relación entre la PCR categórica de Dirichlet y la PCR de un parámetro
Consideremos por un lado el proceso de un solo parámetro del restaurante chino, cony, que denotamos; y por otro lado el modelo categórico de Dirichlet conun número entero positivo y donde elegimos, que como se muestra arriba, es equivalente aEsto demuestra que el modelo categórico de Dirichlet puede hacerse arbitrariamente cercano a, haciendogrande.
Proceso de romper palos
El proceso de restaurante chino de dos parámetros puede definirse equivalentemente en términos de un proceso de romper palos . [ 10 ] Para el caso en queyEl proceso de romper el palo se puede describir como un modelo jerárquico, muy parecido al modelo categórico de Dirichlet anterior , excepto que hay un número infinito de estados de etiquetas. Las etiquetas de la tabla se extraen independientemente de la distribución categórica infinita., cuyos componentes se muestrean mediante la rotura de un palo : se comienza con un palo de longitud 1 y se rompe aleatoriamente en dos, la longitud de la mitad izquierda esy la mitad derecha se rompe de nuevo recursivamente para dar. Más precisamente, la fracción izquierda,, delEl -ésimo punto de ruptura se muestrea de la distribución beta :
Las probabilidades categóricas son:
Para la configuración de parámetrosy, dóndees un entero positivo, y donde la categórica es finita:, podemos tomar muestrasa partir de una distribución de Dirchlet ordinaria como se explicó anteriormente , pero también se puede muestrear con una receta de ruptura de palos truncada , donde la fórmula para muestrear las fracciones se modifica a:
y.
El proceso del buffet indio
Es posible adaptar el modelo de manera que cada punto de datos ya no esté asociado de forma única con una clase (es decir, ya no construimos una partición), sino que pueda asociarse con cualquier combinación de clases. Esto pone a prueba la analogía de las mesas de un restaurante y, por lo tanto, se asemeja más a un proceso en el que una serie de comensales prueban un subconjunto de una selección infinita de platos ofrecidos en un bufé. La probabilidad de que un comensal pruebe un plato en particular es proporcional a la popularidad del plato entre los comensales hasta el momento, y además, el comensal puede probar platos no probados. Esto se ha denominado el proceso del bufé indio y puede utilizarse para inferir características latentes en los datos. [ 11 ]
Aplicaciones
El proceso del restaurante chino está estrechamente relacionado con los procesos de Dirichlet y el esquema de la urna de Pólya , y por lo tanto resulta útil en aplicaciones de estadística bayesiana, incluidos los métodos bayesianos no paramétricos . El proceso generalizado del restaurante chino está estrechamente relacionado con el proceso de Pitman-Yor . Estos procesos se han utilizado en numerosas aplicaciones, como el modelado de texto, la agrupación de datos de microarrays biológicos , [ 12 ] el modelado de la biodiversidad y la reconstrucción de imágenes [ 13 ] [ 14 ].
Véase también
Referencias
- ^ Aldous, DJ (1985). "Intercambiabilidad y temas afines". Escuela de Été de Probabilités de Saint-Flour XIII — 1983 . Apuntes de conferencias de matemáticas. vol. 1117. págs. 1– 198. doi : 10.1007/BFb0099421 . ISBN 978-3-540-15203-3. El proceso del restaurante se describe en la página 92.
- 1 2 Pitman, Jim (1995). " Particiones aleatorias intercambiables y parcialmente intercambiables" . Teoría de la probabilidad y campos relacionados . 102 (2): 145– 158. doi : 10.1007/BF01213386 . MR 1337249. S2CID 16849229 .
- ↑ Hoppe, Fred M. (1984). "Urnas tipo Pólya y la fórmula de muestreo de Ewens". Journal of Mathematical Biology . 20 : 91–94 .
- ↑ Blei, David M.; Frazier, Peter I. (2011). "Procesos de restaurantes chinos dependientes de la distancia" (PDF) . Journal of Machine Learning Research . 12 : 2461–2488 .
- ↑ Zhou, Mingyuan; Carin, Lawrence (2012). "Negative Binomial Process Count and Mixture Modeling". IEEE Transactions on Pattern Analysis and Machine Intelligence . 37 (2): 307– 20. arXiv : 1209.3442 . Bibcode : 2012arXiv1209.3442Z . doi : 10.1109/TPAMI.2013.211 . PMID 26353243 . S2CID 1937045 .
- ↑ Antoniak, Charles E (1974). "Mezclas de procesos de Dirichlet con aplicaciones a problemas no paramétricos bayesianos" . The Annals of Statistics . 2 (6): 1152– 1174. doi : 10.1214/aos/1176342871 .
- 1 2 Pitman, Jim (2006). Procesos estocásticos combinatorios . Vol. 1875. Berlín: Springer-Verlag. ISBN 9783540309901Archivado del original el 25/09/2012 . Consultado el 11/05/2011 .
- ↑ "Proceso de Dirichlet y distribución de Dirichlet: el esquema del restaurante Polya y el proceso del restaurante chino" .
- ↑ Xinhua Zhang, "Una nota muy amable sobre la construcción del proceso de Dirichlet", septiembre de 2008, Universidad Nacional Australiana, Canberra. En línea: http://users.cecs.anu.edu.au/~xzhang/pubDoc/notes/dirichlet_process.pdf Archivado el 11 de abril de 2011 en Wayback Machine .
- ↑ Ishwaran, Hemant; James, Lancelot F. (2001). "Métodos de muestreo de Gibbs para distribuciones a priori de ruptura de palos" . Journal of the American Statistical Association . 96 (453): 161– 173. ISSN 0162-1459 .
- ↑ Griffiths, TL y Ghahramani, Z. (2005) Modelos de características latentes infinitas y el proceso buffet indio . Archivado el 31/10/2008 en Wayback Machine . Informe técnico de la unidad Gatsby GCNU-TR-2005-001.
- ↑ Qin, Zhaohui S (2006). "Agrupación de datos de expresión génica de microarrays mediante el proceso ponderado del restaurante chino". Bioinformatics . 22 (16): 1988– 1997. doi : 10.1093/bioinformatics/btl284 . PMID 16766561 .
- ↑ White, JT; Ghosal, S. (2011). "Suavizado bayesiano de imágenes limitadas por fotones con aplicaciones en astronomía" (PDF) . Journal of the Royal Statistical Society, Serie B (Metodología estadística) . 73 (4): 579– 599. CiteSeerX 10.1.1.308.7922 . doi : 10.1111/j.1467-9868.2011.00776.x . S2CID 2342134 .
- ↑ Li, M.; Ghosal, S. (2014). "Suavizado multiescala bayesiano de imágenes con ruido gaussiano" . Análisis bayesiano . 9 (3): 733– 758. doi : 10.1214/14-ba871 .
Enlaces externos
- Introducción a la distribución de Dirichlet y procesos relacionados por Frigyik, Kapila y Gupta
- Charla de Michael I. Jordan sobre el Programa de Reconstrucción y Control de la Contaminación (PRC):
- http://videolectures.net/icml05_jordan_dpcrp/
- Procesos estocásticos
- estadística bayesiana no paramétrica