entropía cruzada

En teoría de la información , la entropía cruzada entre dos distribuciones de probabilidad${\displaystyle p}$y${\displaystyle q}$Sobre el mismo conjunto subyacente de eventos, mide el número promedio de bits necesarios para identificar un evento extraído del conjunto cuando el esquema de codificación utilizado para el conjunto está optimizado para una distribución de probabilidad estimada.${\displaystyle q}$, en lugar de la distribución verdadera${\displaystyle p}$.

La entropía cruzada de la distribución${\displaystyle q}$ en relación con una distribución${\displaystyle p}$sobre un conjunto dado se define de la siguiente manera:

$${\displaystyle H(p,q)=-\operatorname {E} _{p}[\log q],}$$

dónde${\displaystyle \operatorname {E} _{p}[\cdot ]}$es el operador de valor esperado con respecto a la distribución${\displaystyle p}$.

La definición puede formularse utilizando la divergencia de Kullback-Leibler.${\displaystyle D_{\mathrm {KL} }(p\parallel q)}$, divergencia de${\displaystyle p}$de${\displaystyle q}$(también conocida como la entropía relativa de${\displaystyle p}$con respecto a${\displaystyle q}$).

$${\displaystyle H(p,q)=H(p)+D_{\mathrm {KL} }(p\parallel q),}$$

dónde${\displaystyle H(p)}$es la entropía de${\displaystyle p}$.

Para distribuciones de probabilidad discretas${\displaystyle p}$y${\displaystyle q}$con el mismo apoyo${\displaystyle {\mathcal {X}}}$, esto significa

La situación para las distribuciones continuas es análoga. Tenemos que suponer que${\displaystyle p}$y${\displaystyle q}$son absolutamente continuos con respecto a alguna medida de referencia${\displaystyle r}$(generalmente${\displaystyle r}$es una medida de Lebesgue en un σ-álgebra de Borel ).${\displaystyle P}$y${\displaystyle Q}$sean funciones de densidad de probabilidad de${\displaystyle p}$y${\displaystyle q}$con respecto a${\displaystyle r}$. Entonces

$${\displaystyle -\int _{\mathcal {X}}P(x)\,\log Q(x)\,\mathrm {d} x=\operatorname {E} _{p}[-\log Q],}$$

y por lo tanto

Nota: La notación${\displaystyle H(p,q)}$También se utiliza para un concepto diferente, la entropía conjunta de${\displaystyle p}$y${\displaystyle q}$.

En teoría de la información , el teorema de Kraft - McMillan establece que cualquier esquema de codificación directamente decodificable para codificar un mensaje para identificar un valor${\displaystyle x_{i}}$de un conjunto de posibilidades${\displaystyle \{x_{1},\ldots ,x_{n}\}}$puede considerarse como la representación de una distribución de probabilidad implícita${\displaystyle q(x_{i})=\left({\frac {1}{2}}\right)^{\ell _{i}}}$encima${\displaystyle \{x_{1},\ldots ,x_{n}\}}$, dónde${\displaystyle \ell _{i}}$es la longitud del código para${\displaystyle x_{i}}$en bits. Por lo tanto, la entropía cruzada puede interpretarse como la longitud esperada del mensaje por dato cuando una distribución incorrecta${\displaystyle q}$Se asume que los datos en realidad siguen una distribución.${\displaystyle p}$Por eso se toma la esperanza sobre la distribución de probabilidad verdadera.${\displaystyle p}$y no${\displaystyle q.}$De hecho, la longitud esperada del mensaje bajo la distribución verdadera${\displaystyle p}$es

$${\displaystyle {\begin{aligned}\operatorname {E} _{p}[\ell ]&=-\operatorname {E} _{p}\left[{\frac {\ln {q(x)}}{\ln(2)}}\right]\\[1ex]&=-\operatorname {E} _{p}\left[\log _{2}{q(x)}\right]\\[1ex]&=-\sum _{x_{i}}p(x_{i})\,\log _{2}q(x_{i})\\[1ex]&=-\sum _{x}p(x)\,\log _{2}q(x)=H(p,q).\end{aligned}}}$$

Hay muchas situaciones en las que es necesario medir la entropía cruzada, pero la distribución de${\displaystyle p}$es desconocido. Un ejemplo es el modelado del lenguaje , donde se crea un modelo basado en un conjunto de entrenamiento.${\displaystyle T}$y luego se mide su entropía cruzada en un conjunto de prueba para evaluar qué tan preciso es el modelo al predecir los datos de prueba. En este ejemplo,${\displaystyle p}$es la verdadera distribución de palabras en cualquier corpus, y${\displaystyle q}$es la distribución de palabras según lo predicho por el modelo. Dado que se desconoce la distribución real, la entropía cruzada no se puede calcular directamente. En estos casos, se calcula una estimación de la entropía cruzada utilizando la siguiente fórmula:

$${\displaystyle H(T,q)=-\sum _{i=1}^{N}{\frac {1}{N}}\log _{2}q(x_{i})}$$

dónde${\displaystyle N}$es el tamaño del conjunto de prueba y${\displaystyle q(x)}$es la probabilidad del evento${\displaystyle x}$estimado a partir del conjunto de entrenamiento. En otras palabras,${\displaystyle q(x_{i})}$es la estimación de probabilidad del modelo de que la i-ésima palabra del texto sea${\displaystyle x_{i}}$. La suma se promedia sobre el${\displaystyle N}$palabras de la prueba. Esta es una estimación de Monte Carlo de la verdadera entropía cruzada, donde el conjunto de prueba se trata como muestras de${\displaystyle p(x)}$.

La entropía cruzada surge en los problemas de clasificación al introducir un logaritmo bajo la forma de la función de log-verosimilitud .

Esta sección trata sobre la estimación de las probabilidades de diferentes resultados discretos. Para ello, denotamos una familia parametrizada de distribuciones por${\displaystyle q_{\theta }}$, con${\displaystyle \theta }$sujeto al esfuerzo de optimización. Considere una secuencia finita dada de${\displaystyle N}$valores${\displaystyle x_{i}}$a partir de un conjunto de entrenamiento, obtenido mediante muestreo condicionalmente independiente . La probabilidad asignada a cualquier parámetro considerado${\displaystyle \theta }$del modelo viene dado entonces por el producto sobre todas las probabilidades${\displaystyle q_{\theta }(X=x_{i})}$. Son posibles ocurrencias repetidas, lo que lleva a factores iguales en el producto. Si el recuento de ocurrencias del valor es igual a${\displaystyle x}$se denota por${\displaystyle \#x}$, entonces la frecuencia de ese valor es igual a${\displaystyle \#x/N}$. Si${\displaystyle p(X=x)}$es la distribución de probabilidad subyacente, para grandes ${\displaystyle N}$esperamos${\displaystyle p(X=x)\approx \#x/N}$, por la ley de los grandes números .

Escribimos nuestra función de verosimilitud como el producto de observaciones de la distribución${\displaystyle q_{\theta }}$: $${\displaystyle {\begin{aligned}{\mathcal {L}}(\theta$$ ;{\mathbf {x} })&=\prod _{i}q_{\theta }(X=x_{i})=\prod _{x}q_{\theta }(X=x)^{\#x}\\&\approx \prod _{x}q_{\theta }(X=x)^{N\cdot p(X=x)}=\exp \log \left[\prod _{x}q_{\theta }(X=x)^{N\cdot p(X=x)}\right]\\&=\exp \left(\sum _{x}N\cdot p(X=x)\log q_{\theta }(X=x)^{}\right),\end{aligned}}} donde hemos utilizado las reglas de cálculo para el logaritmo en la última línea. Observe cómo el exponente contiene un${\displaystyle -H(p,q_{\theta })}$término. Tomando el logaritmo de ambos lados se obtiene: $${\displaystyle \log {\mathcal {L}}(\theta$$ ;{\mathbf {x} })=-N\cdot H(p,q_{\theta }).} Dado que el logaritmo es una función monótonamente creciente , el valor que maximiza ${\displaystyle \theta }$no se ve afectado por este paso final. De manera similar, el valor maximizador de ${\displaystyle \theta }$no se ve afectado por el factor de${\displaystyle N}$. Así pues, observamos que la maximización de la verosimilitud equivale a la minimización de la entropía cruzada.

La minimización de la entropía cruzada se utiliza con frecuencia en la optimización y la estimación de la probabilidad de eventos raros. Al comparar una distribución${\displaystyle q}$frente a una distribución de referencia fija${\displaystyle p}$, la entropía cruzada y la divergencia KL son idénticas salvo una constante aditiva (ya que${\displaystyle p}$está fijo): Según la desigualdad de Gibbs , ambos toman sus valores mínimos cuando${\displaystyle p=q}$, que es${\displaystyle 0}$para la divergencia KL y${\displaystyle \mathrm {H} (p)}$para la entropía cruzada. En la literatura de ingeniería, el principio de minimizar la divergencia KL (el " Principio de información de discriminación mínima " de Kullback) se denomina a menudo Principio de entropía cruzada mínima (MCE) o Minxent .

Sin embargo, como se analiza en el artículo Divergencia de Kullback-Leibler , a veces la distribución${\displaystyle q}$es la distribución de referencia previa fija y la distribución${\displaystyle p}$está optimizado para estar lo más cerca posible de${\displaystyle q}$como sea posible, sujeto a alguna restricción. En este caso, las dos minimizaciones no son equivalentes. Esto ha llevado a cierta ambigüedad en la literatura, y algunos autores intentan resolver la inconsistencia reformulando la entropía cruzada como${\displaystyle D_{\mathrm {KL} }(p\parallel q)}$, en vez de${\displaystyle H(p,q)}$. De hecho, la entropía cruzada es otro nombre para la entropía relativa ; véase Cover y Thomas ^{[ 1 ]} y Good. ^{[ 2 ]} Por otro lado,${\displaystyle H(p,q)}$No coincide con la bibliografía y puede resultar engañoso.

La entropía cruzada se puede utilizar para definir una función de pérdida en el aprendizaje automático y la optimización . Mao, Mohri y Zhong (2023) ofrecen un análisis exhaustivo de las propiedades de la familia de funciones de pérdida de entropía cruzada en el aprendizaje automático, incluyendo garantías de aprendizaje teóricas y extensiones al aprendizaje adversario . ^{[ 3 ]} La probabilidad verdadera${\displaystyle p_{i}}$es la etiqueta verdadera y la distribución dada${\displaystyle q_{i}}$es el valor predicho del modelo actual. Esto también se conoce como pérdida logarítmica (o pérdida logarítmica ^{[ 4 ]} o pérdida logística ); ^{[ 5 ]} los términos "pérdida logarítmica" y "pérdida de entropía cruzada" se usan indistintamente. ^{[ 6 ]}

Más específicamente, consideremos un modelo de regresión binaria que se puede utilizar para clasificar las observaciones en dos clases posibles (a menudo simplemente etiquetadas como${\displaystyle 0}$y${\displaystyle 1}$). La salida del modelo para una observación dada, dado un vector de características de entrada.${\displaystyle x}$, puede interpretarse como una probabilidad, que sirve de base para clasificar la observación. En la regresión logística , la probabilidad se modela utilizando la función logística.${\displaystyle g(z)=1/(1+e^{-z})}$dónde${\displaystyle z}$es alguna función del vector de entrada${\displaystyle x}$, comúnmente solo una función lineal. La probabilidad de la salida${\displaystyle y=1}$es dado por $${\displaystyle q_{y=1}={\hat {y}}\equiv g(\mathbf {w} \cdot \mathbf {x} )={\frac {1}{1+e^{-\mathbf {w} \cdot \mathbf {x} }}},}$$ donde el vector de pesos${\displaystyle \mathbf {w} }$se optimiza mediante algún algoritmo apropiado como el descenso de gradiente . De manera similar, la probabilidad complementaria de encontrar la salida${\displaystyle y=0}$simplemente se da por $${\displaystyle q_{y=0}=1-{\hat {y}}.}$$

Habiendo establecido nuestra notación,${\displaystyle p\in \{y,1-y\}}$y${\displaystyle q\in \{{\hat {y}},1-{\hat {y}}\}}$, podemos usar la entropía cruzada para obtener una medida de disimilitud entre${\displaystyle p}$y${\displaystyle q}$: $${\displaystyle {\begin{aligned}H(p,q)&=-\sum _{m}p_{m}\log q_{m}=-y\log {\hat {y}}-(1-y)\log(1-{\hat {y}}).\end{aligned}}}$$

La regresión logística generalmente optimiza la pérdida logarítmica para todas las observaciones con las que se entrena, lo que equivale a optimizar la entropía cruzada promedio en la muestra. También se pueden usar otras funciones de pérdida que penalizan los errores de manera diferente para el entrenamiento, lo que da como resultado modelos con diferente precisión de prueba final. ^{[ 7 ]} Por ejemplo, supongamos que tenemos${\displaystyle N}$muestras con cada muestra indexada por${\displaystyle n=1,\dots ,N}$El promedio de la función de pérdida viene dado por

$${\displaystyle {\begin{aligned}J(\mathbf {w} )&={\frac {1}{N}}\sum _{i=1}^{N}H(p_{i},q_{i})\\&=-{\frac {1}{N}}\sum _{i=1}^{N}\ \left[y_{i}\log {\hat {y}}_{i}+(1-y_{i})\log(1-{\hat {y}}_{i})\right],\end{aligned}}}$$

dónde${\displaystyle {\hat {y}}_{i}\equiv g(\mathbf {w} \cdot \mathbf {x} _{i})=1/(1+e^{-\mathbf {w} \cdot \mathbf {x} _{i}})}$, con${\displaystyle g(z)}$como la función logística como antes.

El gradiente de la pérdida de entropía cruzada para la regresión logística es igual al gradiente de la pérdida de error cuadrático para la regresión lineal (salvo un factor constante). Para ver esto, defina

$${\displaystyle X\equiv {\begin{pmatrix}1&x_{11}&\dots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &&\vdots \\1&x_{N1}&\cdots &x_{Np}\\\end{pmatrix}}\in \mathbb {R} ^{N\times (p+1)},}$$$${\displaystyle {\hat {y_{i}}}=g(\mathbf {w} \cdot X^{i})={\frac {1}{1+\exp(-w_{0}-w_{1}x_{i1}-\dots -w_{p}x_{ip})}},}$$$${\displaystyle L(\mathbf {w} )\equiv -\sum _{i=1}^{N}\left[y_{i}\ln {\hat {y}}_{i}+(1-y_{i})\ln(1-{\hat {y}}_{i})\right].}$$

Entonces tenemos el resultado

$${\displaystyle \nabla _{\mathbf {w} }L(\mathbf {w} )=X^{\mathsf {T}}({\hat {\mathbf {y} }}-\mathbf {y} ).}$$

Prueba: Para cualquier${\displaystyle {\hat {y}}_{i}}$tenemos

$${\displaystyle {\frac {\partial }{\partial w_{0}}}\ln {\hat {y}}_{i}={\frac {\partial }{\partial w_{0}}}\ln {\frac {1}{1+e^{-w_{0}+k_{0}}}}={\frac {e^{-w_{0}+k_{0}}}{1+e^{-w_{0}+k_{0}}}}=1-{\hat {y}}_{i},}$$$${\displaystyle {\frac {\partial }{\partial w_{0}}}\ln(1-{\hat {y}}_{i})={\frac {\partial }{\partial w_{0}}}\ln \left(1-{\frac {1}{1+e^{-w_{0}+k_{0}}}}\right)={\frac {-1}{1+e^{-w_{0}+k_{0}}}}=-{\hat {y}}_{i}}$$ y por lo tanto $${\displaystyle {\begin{aligned}{\frac {\partial L}{\partial w_{0}}}&=-\sum _{i=1}^{N}[y_{i}(1-{\hat {y}}_{i})-(1-y_{i}){\hat {y}}_{i}]=-\sum _{i=1}^{N}[y_{i}-{\hat {y}}_{i}]=\sum _{i=1}^{N}X_{i0}({\hat {y}}_{i}-y_{i}).\end{aligned}}}$$

De manera similar, para cualquier${\displaystyle {\hat {y}}_{i}}$y${\displaystyle j=1,\dots ,p}$tenemos $${\displaystyle {\frac {\partial }{\partial w_{j}}}\ln {\hat {y}}_{i}={\frac {\partial }{\partial w_{j}}}\ln {\frac {1}{1+e^{-w_{j}x_{ij}+k_{j}}}}={\frac {x_{ij}e^{-w_{j}x_{ij}+k_{j}}}{1+e^{-w_{j}x_{ij}+k_{j}}}}=x_{ij}(1-{\hat {y}}_{i}),}$$$${\displaystyle {\frac {\partial }{\partial w_{j}}}\ln(1-{\hat {y}}_{i})={\frac {\partial }{\partial w_{j}}}\ln \left[1-{\frac {1}{1+e^{-w_{j}x_{ij}+k_{j}}}}\right]={\frac {-x_{ij}}{1+e^{-w_{j}x_{ij}+k_{j}}}}=-x_{ij}{\hat {y}}_{i}}$$ y por lo tanto $${\displaystyle {\begin{aligned}{\frac {\partial L}{\partial w_{j}}}&=-\sum _{i=1}^{N}x_{ij}[y_{i}(1-{\hat {y}}_{i})-(1-y_{i}){\hat {y}}_{i}]=\sum _{i=1}^{N}X_{ij}({\hat {y}}_{i}-y_{i}).\end{aligned}}}$$

En conjunto, obtenemos el resultado deseado. Nótese que aquí utilizamos el logaritmo natural.${\displaystyle ln}$en lugar de${\displaystyle log}$(canónicamente${\displaystyle log_{2}}$) en la función de pérdida${\displaystyle L}$Esto simplemente cambia el resultado por un factor de${\displaystyle log(e)}$Sin embargo. Además, para todos${\displaystyle i}$reutilizamos${\displaystyle k_{0}:=-\sum _{l=1}^{p}w_{l}x_{il}}$y${\displaystyle k_{j}:=-w_{0}-\sum _{l\neq j}w_{l}x_{il}}$como constantes con respecto a cada uno${\displaystyle w_{j}}$.

Puede ser beneficioso entrenar un conjunto de modelos que tengan diversidad, de modo que cuando se combinen, su precisión predictiva aumente. ^{[ 8 ] [ 9 ]} Suponiendo un conjunto simple de${\displaystyle K}$Los clasificadores se ensamblan promediando las salidas, luego la entropía cruzada modificada viene dada por $${\displaystyle e^{k}=H(p,q^{k})-{\frac {\lambda }{K}}\sum _{j\neq k}H(q^{j},q^{k})}$$ dónde${\displaystyle e^{k}}$es la función de costo de la${\displaystyle k^{th}}$clasificador,${\displaystyle q^{k}}$es la probabilidad de salida de la${\displaystyle k^{th}}$clasificador,${\displaystyle p}$es la verdadera probabilidad que se debe estimar, y${\displaystyle \lambda }$es un parámetro entre 0 y 1 que define la 'diversidad' que nos gustaría establecer entre el conjunto. Cuando${\displaystyle \lambda =0}$queremos que cada clasificador haga lo mejor posible independientemente del conjunto y cuando${\displaystyle \lambda =1}$Nos gustaría que el clasificador fuera lo más diverso posible.

• Método de entropía cruzada
• Regresión logística
• Entropía condicional
• Distancia de Kullback-Leibler
• Estimación de máxima verosimilitud
• Información mutua
• Perplejidad

• de Boer, Kroese, DP, Mannor, S. y Rubinstein, RY (2005). Un tutorial sobre el método de entropía cruzada . Annals of Operations Research 134 (1), 19–67.