Articulo de referencia

Teorema de Hammersley-Clifford

El teorema de Hammersley-Clifford es un resultado de la teoría de la probabilidad , la estadística matemática y la mecánica estadística que proporciona condiciones necesarias y ...

El teorema de Hammersley-Clifford es un resultado de la teoría de la probabilidad , la estadística matemática y la mecánica estadística que proporciona condiciones necesarias y suficientes bajo las cuales una distribución de probabilidad estrictamente positiva puede representarse como eventos generados por una red de Markov (también conocida como campo aleatorio de Markov ). Es el teorema fundamental de los campos aleatorios . [ 1 ] Afirma que una distribución de probabilidad que tiene una masa o densidad estrictamente positiva satisface una de las propiedades de Markov con respecto a un grafo no dirigido G si y solo si es un campo aleatorio de Gibbs , es decir, su densidad puede factorizarse sobre las camarillas (o subgrafos completos ) del grafo.

La relación entre los campos aleatorios de Markov y Gibbs fue iniciada por Roland Dobrushin [ 2 ] y Frank Spitzer [ 3 ] en el contexto de la mecánica estadística . El teorema lleva el nombre de John Hammersley y Peter Clifford , quienes demostraron la equivalencia en un artículo inédito en 1971. [ 4 ] [ 5 ] Demostraciones más sencillas utilizando el principio de inclusión-exclusión fueron dadas independientemente por Geoffrey Grimmett , [ 6 ] Preston [ 7 ] y Sherman [ 8 ] en 1973, con una demostración adicional por Julian Besag en 1974. [ 9 ]

Esquema de demostración

Una red de Markov simple para demostrar que cualquier campo aleatorio de Gibbs satisface todas las propiedades de Markov.

Es trivial demostrar que un campo aleatorio de Gibbs satisface todas las propiedades de Markov . Como ejemplo de este hecho, véase lo siguiente:

En la imagen de la derecha, un campo aleatorio de Gibbs sobre el grafo proporcionado tiene la formaPr(A,B,do,D,mi,F)F1(A,B,D)F2(A,do,D)F3(do,D,F)F4(do,mi,F){\displaystyle \Pr(A,B,C,D,E,F)\propto f_{1}(A,B,D)f_{2}(A,C,D)f_{3}(C,D,F)f_{4}(C,E,F)}. Si variablesdo{\displaystyle C}yD{\displaystyle D}Si son fijos, entonces la propiedad global de Markov requiere que:A,Bmi,F|do,D{\displaystyle A,B\perp E,F|C,D}(véase independencia condicional ), ya quedo,D{\displaystyle C,D}forma una barrera entreA,B{\displaystyle A,B}ymi,F{\displaystyle E,F}.

Condo{\displaystyle C}yD{\displaystyle D}constante,Pr(A,B,mi,F|do=do,D=d)[F1(A,B,d)F2(A,do,d)][F3(do,d,F)F4(do,mi,F)]=gramo1(A,B)gramo2(mi,F){\displaystyle \Pr(A,B,E,F|C=c,D=d)\propto [f_{1}(A,B,d)f_{2}(A,c,d)]\cdot [f_{3}(c,d,F)f_{4}(c,E,F)]=g_{1}(A,B)g_{2}(E,F)}dóndegramo1(A,B)=F1(A,B,d)F2(A,do,d){\displaystyle g_{1}(A,B)=f_{1}(A,B,d)f_{2}(A,c,d)}ygramo2(mi,F)=F3(do,d,F)F4(do,mi,F){\displaystyle g_{2}(E,F)=f_{3}(c,d,F)f_{4}(c,E,F)}Esto implica queA,Bmi,F|do,D{\displaystyle A,B\perp E,F|C,D}.

Para establecer que toda distribución de probabilidad positiva que satisface la propiedad de Markov local es también un campo aleatorio de Gibbs, es necesario demostrar el siguiente lema, que proporciona un medio para combinar diferentes factorizaciones:

El lema 1 proporciona un método para combinar factorizaciones, como se muestra en este diagrama. Nótese que en esta imagen se ignora la superposición entre conjuntos.

Lema 1

DejarU{\displaystyle U}denotemos el conjunto de todas las variables aleatorias en consideración, y seaΘ,Φ1,Φ2,,ΦnorteU{\displaystyle \Theta ,\Phi _{1},\Phi _{2},\dots ,\Phi _{n}\subseteq U}yΨ1,Ψ2,,ΨmetroU{\displaystyle \Psi _{1},\Psi _{2},\dots ,\Psi _{m}\subseteq U}denotan conjuntos arbitrarios de variables. (Aquí, dado un conjunto arbitrario de variablesincógnita{\displaystyle X},incógnita{\displaystyle X}también denotará una asignación arbitraria a las variables deincógnita{\displaystyle X}.)

Si

Pr(U)=F(Θ)i=1nortegramoi(Φi)=j=1metrohj(Ψj){\displaystyle \Pr(U)=f(\Theta )\prod _{i=1}^{n}g_{i}(\Phi _{i})=\prod _{j=1}^{m}h_{j}(\Psi _{j})}

para funcionesF,gramo1,gramo2,gramonorte{\displaystyle f,g_{1},g_{2},\dots g_{n}}yh1,h2,,hmetro{\displaystyle h_{1},h_{2},\dots ,h_{m}}, entonces existen funcionesh1,h2,,hmetro{\displaystyle h'_{1},h'_{2},\dots ,h'_{m}}ygramo1,gramo2,,gramonorte{\displaystyle g'_{1},g'_{2},\dots ,g'_{n}}de tal manera que

Pr(U)=(j=1metrohj(ΘΨj))(i=1nortegramoi(Φi)){\displaystyle \Pr(U)={\bigg (}\prod _{j=1}^{m}h'_{j}(\Theta \cap \Psi _{j}){\bigg )}{\bigg (}\prod _{i=1}^{n}g'_{i}(\Phi _{i}){\bigg )}}

En otras palabras,j=1metrohj(Ψj){\displaystyle \prod _{j=1}^{m}h_{j}(\Psi _{j})}proporciona una plantilla para una mayor factorización deF(Θ){\displaystyle f(\Theta )}.

La camarilla formada por vérticesincógnita1{\displaystyle x_{1}},incógnita2{\displaystyle x_{2}}, yincógnita3{\displaystyle x_{3}}, es la intersección de{incógnita1}incógnita1{\displaystyle \{x_{1}\}\cup \partial x_{1}},{incógnita2}incógnita2{\displaystyle \{x_{2}\}\cup \partial x_{2}}, y{incógnita3}incógnita3{\displaystyle \{x_{3}\}\cup \partial x_{3}}.

El lema 1 proporciona un medio para combinar dos factorizaciones diferentes dePr(U){\displaystyle \Pr(U)}La propiedad de Markov local implica que para cualquier variable aleatoriaincógnitaU{\displaystyle x\in U}que existen factoresFincógnita{\displaystyle f_{x}}yFincógnita{\displaystyle f_{-x}}de tal manera que:

Pr(U)=Fincógnita(incógnita,incógnita)Fincógnita(U{incógnita}){\displaystyle \Pr(U)=f_{x}(x,\partial x)f_{-x}(U\setminus \{x\})}

dóndeincógnita{\displaystyle \partial x}son los vecinos del nodoincógnita{\displaystyle x}. Aplicando el Lema 1 repetidamente, eventualmente se producen factoresPr(U){\displaystyle \Pr(U)}en un producto de potenciales de camarilla (ver la imagen de la derecha).

Fin de la demostración

Véase también

Notas

  1. Lafferty, John D.; McCallum, Andrew (2001). "Campos aleatorios condicionales: modelos probabilísticos para la segmentación y el etiquetado de datos de secuencias" . Actas de la 18.ª Conferencia Internacional sobre Aprendizaje Automático (ICML-2001) . Morgan Kaufmann. ISBN 9781558607781. Consultado el 14 de diciembre de 2014 . por el teorema fundamental de campos aleatorios ( Hammersley y Clifford 1971 )
  2. Dobrushin, PL (1968), "La descripción de un campo aleatorio mediante probabilidades condicionales y condiciones de su regularidad" , Theory of Probability and Its Applications , 13 (2): 197–224 , doi : 10.1137/1113026
  3. Spitzer, Frank (1971), "Markov Random Fields and Gibbs Ensembles", The American Mathematical Monthly , 78 (2): 142– 154, doi : 10.2307/2317621 , JSTOR 2317621 
  4. Hammersley, JM; Clifford, P. (1971), Campos de Markov en grafos y retículos finitos (PDF)
  5. Clifford, P. (1990), "Campos aleatorios de Markov en estadística" , en Grimmett, GR; Welsh, DJA (eds.), Desorden en sistemas físicos: Un volumen en honor a John M. Hammersley , Oxford University Press, pp. 19–32 , ISBN  978-0-19-853215-6, MR 1064553 , consultado el 4 de mayo de 2009 
  6. Grimmett, GR (1973), "Un teorema sobre campos aleatorios", Bulletin of the London Mathematical Society , 5 (1): 81– 84, CiteSeerX 10.1.1.318.3375 , doi : 10.1112/blms/5.1.81 , MR 0329039  
  7. Preston, CJ (1973), "Estados de Gibbs generalizados y campos aleatorios de Markov", Advances in Applied Probability , 5 (2): 242–261 , doi : 10.2307/1426035 , JSTOR 1426035 , MR 0405645  
  8. Sherman, S. (1973), "Campos aleatorios de Markov y campos aleatorios de Gibbs", Israel Journal of Mathematics , 14 (1): 92–103 , doi : 10.1007/BF02761538 , MR 0321185 
  9. Besag, J. (1974), "Interacción espacial y análisis estadístico de sistemas reticulares", Journal of the Royal Statistical Society, Serie B , 36 (2): 192–236 , JSTOR 2984812 , MR 0373208  

Lecturas adicionales

  • Grimmett, Geoffrey (2018), "7.", Probabilidad en grafos (2.ª  ed.), Cambridge University Press, ISBN 9781108438179
  • Langseth, Helge, El teorema de Hammersley - Clifford y su impacto en la estadística moderna (PDF) , Departamento de Ciencias Matemáticas, Universidad Noruega de Ciencia y Tecnología.