Principio de máxima entropía

El principio de máxima entropía se utiliza a menudo para obtener distribuciones de probabilidad previas para la inferencia bayesiana . Jaynes fue un firme defensor de este enfoque, afirmando que la distribución de máxima entropía representaba la distribución menos informativa. ^{[ 4 ]} Actualmente, existe una gran cantidad de literatura dedicada a la obtención de distribuciones previas de máxima entropía y su relación con la codificación de canales . ^{[ 5 ] [ 6 ] [ 7 ] [ 8 ]}

La entropía máxima es una regla de actualización suficiente para el probabilismo radical . La cinemática de probabilidad de Richard Jeffrey es un caso especial de inferencia de entropía máxima . Sin embargo, la entropía máxima no es una generalización de todas estas reglas de actualización suficientes. ^{[ 9 ]}

Alternativamente, este principio se suele aplicar a la especificación de modelos: en este caso, se asume que los datos observados constituyen la información verificable. Estos modelos se utilizan ampliamente en el procesamiento del lenguaje natural . Un ejemplo de este tipo de modelo es la regresión logística , que corresponde al clasificador de máxima entropía para observaciones independientes.

El principio de máxima entropía también se ha aplicado en economía y asignación de recursos. Por ejemplo, el modelo de división justa de Boltzmann utiliza la distribución de máxima entropía (de Boltzmann) para asignar recursos o ingresos entre individuos, proporcionando un enfoque probabilístico para la justicia distributiva. ^{[ 10 ]}

Las familias exponenciales son una clase importante de modelos de probabilidad que se pueden derivar utilizando el principio de máxima entropía ^{[ 11 ]} .

Una de las principales aplicaciones del principio de máxima entropía se encuentra en la estimación de densidad discreta y continua . ^{[ 12 ] [ 13 ]} De forma similar a los estimadores de máquinas de vectores de soporte , el principio de máxima entropía puede requerir la solución de un problema de programación cuadrática y, por lo tanto, proporcionar un modelo de mezcla dispersa como estimador de densidad óptimo. Una ventaja importante del método es su capacidad para incorporar información previa en la estimación de densidad. ^{[ 14 ]}

Tenemos información verificable I sobre una cantidad x que toma valores en { x ₁ , x ₂ ,..., x _n }. Suponemos que esta información tiene la forma de m restricciones sobre las esperanzas de las funciones f _k ; es decir, requerimos que nuestra distribución de probabilidad satisfaga las restricciones de desigualdad/igualdad de momentos:

$${\displaystyle \sum _{i=1}^{n}\Pr(x_{i})f_{k}(x_{i})\geq F_{k}\qquad k=1,\ldots ,m.}$$

donde el${\displaystyle F_{k}}$son observables. También requerimos que la densidad de probabilidad sume uno, lo que puede verse como una restricción primitiva sobre la función identidad y un observable igual a 1 que da la restricción

$${\displaystyle \sum _{i=1}^{n}\Pr(x_{i})=1.}$$

La distribución de probabilidad con máxima entropía de información sujeta a estas restricciones de desigualdad/igualdad es de la forma: ^{[ 12 ]}

$${\displaystyle \Pr(x_{i})={\frac {1}{Z(\lambda _{1},\ldots ,\lambda _{m})}}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],}$$

para algunos${\displaystyle \lambda _{1},\ldots ,\lambda _{m}}$A veces se la denomina distribución de Gibbs . La constante de normalización se determina mediante:

$${\displaystyle Z(\lambda _{1},\ldots ,\lambda _{m})=\sum _{i=1}^{n}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],}$$

y se la denomina convencionalmente función de partición . (El teorema de Pitman-Koopman establece que la condición necesaria y suficiente para que una distribución de muestreo admita estadísticas suficientes de dimensión acotada es que tenga la forma general de una distribución de máxima entropía).

Los parámetros λ _k son multiplicadores de Lagrange. En el caso de restricciones de igualdad, sus valores se determinan a partir de la solución de las ecuaciones no lineales.

$${\displaystyle F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\ldots ,\lambda _{m}).}$$

En el caso de restricciones de desigualdad, los multiplicadores de Lagrange se determinan a partir de la solución de un programa de optimización convexa con restricciones lineales. ^{[ 12 ]} En ambos casos, no hay una solución en forma cerrada , y el cálculo de los multiplicadores de Lagrange generalmente requiere métodos numéricos .

Para distribuciones continuas , no se puede utilizar la entropía de Shannon, ya que solo está definida para espacios de probabilidad discretos. En su lugar, Edwin Jaynes (1963, 1968, 2003) propuso la siguiente fórmula, que está estrechamente relacionada con la entropía relativa (véase también entropía diferencial ).

$${\displaystyle H_{c}=-\int p(x)\log {\frac {p(x)}{q(x)}}\,dx}$$

donde q ( x ), que Jaynes denominó la " medida invariante ", es proporcional a la densidad límite de puntos discretos . Por ahora, asumiremos que q es conocida; la analizaremos con más detalle una vez que se presenten las ecuaciones de solución.

Una magnitud estrechamente relacionada, la entropía relativa, se define habitualmente como la divergencia de Kullback-Leibler de p respecto a q (aunque a veces, de forma confusa, se define como su opuesto). El principio de inferencia que consiste en minimizarla, debido a la divergencia de Kullback, se conoce como el Principio de Mínima Información Discriminatoria .

Tenemos información verificable I sobre una cantidad x que toma valores en un intervalo de los números reales (todas las integrales siguientes se realizan sobre este intervalo). Suponemos que esta información tiene la forma de m restricciones sobre las esperanzas de las funciones f _k , es decir, requerimos que nuestra función de densidad de probabilidad satisfaga las restricciones de momentos de desigualdad (o puramente igualdad):

$${\displaystyle \int p(x)f_{k}(x)\,dx\geq F_{k}\qquad k=1,\dotsc ,m.}$$

donde el${\displaystyle F_{k}}$son observables. También requerimos que la densidad de probabilidad se integre a uno, lo que puede verse como una restricción primitiva sobre la función identidad y un observable igual a 1 que da la restricción

$${\displaystyle \int p(x)\,dx=1.}$$

La función de densidad de probabilidad con H _c máximo sujeta a estas restricciones es: ^{[ 15 ]}

$${\displaystyle p(x)={\frac {q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}}$$

con la función de partición determinada por

$${\displaystyle Z(\lambda _{1},\dotsc ,\lambda _{m})=\int q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]\,dx.}$$

Como en el caso discreto, en el caso en que todas las restricciones de momento son igualdades, los valores de los${\displaystyle \lambda _{k}}$Los parámetros se determinan mediante el sistema de ecuaciones no lineales:

$${\displaystyle F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\dotsc ,\lambda _{m}).}$$

En el caso de restricciones de momentos de desigualdad, los multiplicadores de Lagrange se determinan a partir de la solución de un programa de optimización convexa . ^{[ 13 ]}

La función de medida invariante q ( x ) se puede comprender mejor suponiendo que se sabe que x toma valores solo en el intervalo acotado ( a , b ), y que no se proporciona ninguna otra información. Entonces, la función de densidad de probabilidad de entropía máxima es

$${\displaystyle p(x)=A\cdot q(x),\qquad a<x<b}$$

donde A es una constante de normalización. La función de medida invariante es en realidad la función de densidad previa que codifica la "falta de información relevante". No puede determinarse mediante el principio de máxima entropía, y debe determinarse mediante algún otro método lógico, como el principio de grupos de transformación o la teoría de la marginalización .

Para ver varios ejemplos de distribuciones de entropía máxima, consulte el artículo sobre distribuciones de probabilidad de entropía máxima .

Consideremos una distribución de probabilidad discreta entre${\displaystyle m}$proposiciones mutuamente excluyentes . La distribución más informativa se produciría cuando se supiera que una de las proposiciones es verdadera. En ese caso, la entropía de la información sería igual a cero. La distribución menos informativa se produciría cuando no haya razón para favorecer ninguna de las proposiciones sobre las demás. En ese caso, la única distribución de probabilidad razonable sería uniforme, y entonces la entropía de la información sería igual a su valor máximo posible.${\displaystyle \log m}$Por lo tanto, la entropía de la información puede considerarse una medida numérica que describe cuán poco informativa es una distribución de probabilidad particular, que va desde cero (completamente informativa) hasta${\displaystyle \log m}$(completamente inútil).

Según este argumento, al elegir la distribución con la máxima entropía permitida por nuestra información, estamos eligiendo la distribución menos informativa posible. Elegir una distribución con menor entropía implicaría asumir información que no poseemos. Por lo tanto, la distribución de máxima entropía es la única distribución razonable. La dependencia de la solución con respecto a la medida dominante representada por${\displaystyle m(x)}$Sin embargo, esto es una fuente de críticas al enfoque, ya que esta medida dominante es, de hecho, arbitraria. ^{[ 16 ]}

El siguiente argumento es el resultado de una sugerencia que Graham Wallis le hizo a E. T. Jaynes en 1962. ^{[ 17 ]} Es esencialmente el mismo argumento matemático utilizado para la estadística de Maxwell-Boltzmann en mecánica estadística , aunque el énfasis conceptual es bastante diferente. Tiene la ventaja de ser estrictamente combinatorio, sin hacer referencia a la entropía de la información como medida de «incertidumbre», «falta de información» o cualquier otro concepto definido de forma imprecisa. La función de entropía de la información no se asume a priori , sino que se encuentra en el transcurso del argumento; y este conduce naturalmente al procedimiento de maximizar la entropía de la información, en lugar de tratarla de alguna otra manera.

Supongamos que un individuo desea realizar una asignación de probabilidad entre${\displaystyle m}$proposiciones mutuamente excluyentes . Tienen información comprobable, pero no están seguros de cómo incluirla en su evaluación de probabilidad. Por lo tanto, conciben el siguiente experimento aleatorio. Distribuirán${\displaystyle N}$cuantos de probabilidad (cada uno vale${\displaystyle 1/N}$) al azar entre los${\displaystyle m}$posibilidades. (Uno podría imaginar que lanzarán${\displaystyle N}$bolas en${\displaystyle m}$lanzar cubos con los ojos vendados. Para que sea lo más justo posible, cada lanzamiento debe ser independiente de cualquier otro, y todos los cubos deben ser del mismo tamaño. Una vez realizado el experimento, comprobarán si la asignación de probabilidad obtenida es consistente con su información. (Para que este paso sea exitoso, la información debe ser una restricción dada por un conjunto abierto en el espacio de medidas de probabilidad). Si es inconsistente, la rechazarán e intentarán de nuevo. Si es consistente, su evaluación será

$${\displaystyle p_{i}={\frac {n_{i}}{N}}}$$

dónde${\displaystyle p_{i}}$es la probabilidad de la${\displaystyle i}$^la proposición, mientras que n _i es el número de cuantos que se asignaron a la${\displaystyle i}$^La proposición (es decir, el número de bolas que terminaron en el cubo)${\displaystyle i}$).

Ahora, para reducir la "granularidad" de la asignación de probabilidad, será necesario utilizar un número bastante grande de cuantos de probabilidad. En lugar de realizar realmente, y posiblemente tener que repetir, el experimento aleatorio bastante largo, el protagonista decide simplemente calcular y utilizar el resultado más probable. La probabilidad de cualquier resultado particular es la distribución multinomial ,

$${\displaystyle Pr(\mathbf {p} )=W\cdot m^{-N}}$$

dónde

$${\displaystyle W={\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}}$$

A veces se la conoce como la multiplicidad del resultado.

El resultado más probable es aquel que maximiza la multiplicidad.${\displaystyle W}$En lugar de maximizar${\displaystyle W}$directamente, el protagonista podría maximizar de forma equivalente cualquier función monótona creciente de${\displaystyle W}$Deciden maximizar

$${\displaystyle {\begin{aligned}{\frac {1}{N}}\log W&={\frac {1}{N}}\log {\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}\\[6pt]&={\frac {1}{N}}\log {\frac {N!}{(Np_{1})!\,(Np_{2})!\,\dotsb \,(Np_{m})!}}\\[6pt]&={\frac {1}{N}}\left(\log N!-\sum _{i=1}^{m}\log((Np_{i})!)\right).\end{aligned}}}$$

En este punto, para simplificar la expresión, el protagonista toma el límite como${\displaystyle N\to \infty }$, es decir, a medida que los niveles de probabilidad pasan de valores discretos granulados a valores continuos suaves. Usando la aproximación de Stirling , encuentran

$${\displaystyle {\begin{aligned}\lim _{N\to \infty }\left({\frac {1}{N}}\log W\right)&={\frac {1}{N}}\left(N\log N-\sum _{i=1}^{m}Np_{i}\log(Np_{i})\right)\\[6pt]&=\log N-\sum _{i=1}^{m}p_{i}\log(Np_{i})\\[6pt]&=\log N-\log N\sum _{i=1}^{m}p_{i}-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=\left(1-\sum _{i=1}^{m}p_{i}\right)\log N-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=H(\mathbf {p} ).\end{aligned}}}$$

Lo único que le queda por hacer al protagonista es maximizar la entropía bajo las restricciones de la información verificable. Han descubierto que la distribución de máxima entropía es la más probable de todas las distribuciones aleatorias "justas", en el límite cuando los niveles de probabilidad pasan de discretos a continuos.

Giffin y Caticha (2007) afirman que el teorema de Bayes y el principio de máxima entropía son totalmente compatibles y pueden considerarse casos especiales del "método de máxima entropía relativa". Aseguran que este método reproduce todos los aspectos de los métodos de inferencia bayesiana ortodoxos. Además, este nuevo método permite abordar problemas que no podrían resolverse individualmente ni con el principio de máxima entropía ni con los métodos bayesianos ortodoxos. Asimismo, contribuciones recientes (Lazar 2003 y Schennach 2005) demuestran que los enfoques de inferencia frecuentistas basados ​​en la entropía relativa (como la verosimilitud empírica y la verosimilitud empírica con sesgo exponencial , véanse, por ejemplo, Owen 2001 y Kitamura 2006) pueden combinarse con información previa para realizar análisis bayesianos posteriores.

Jaynes afirmó que el teorema de Bayes era una forma de calcular una probabilidad, mientras que la entropía máxima era una forma de asignar una distribución de probabilidad previa. ^{[ 18 ]}

Sin embargo, conceptualmente es posible calcular una distribución posterior directamente a partir de una distribución previa dada, utilizando el principio de mínima entropía cruzada (o el principio de máxima entropía, que es un caso especial del uso de una distribución uniforme como distribución previa dada), independientemente de cualquier consideración bayesiana, al tratar el problema formalmente como un problema de optimización con restricciones, donde la función de entropía es la función objetivo. Para el caso de valores promedio dados como información verificable (promediados sobre la distribución de probabilidad buscada), la distribución buscada es formalmente la distribución de Gibbs (o Boltzmann), cuyos parámetros deben calcularse para lograr la mínima entropía cruzada y satisfacer la información verificable dada.