Regla de puntuación

Una regla de puntuación${\displaystyle \mathbf {S} }$es apropiado en relación con${\displaystyle {\mathcal {F}}}$si (suponiendo una orientación negativa) su puntuación esperada se minimiza cuando la distribución pronosticada coincide con la distribución de la observación.

${\displaystyle \mathbb {E} _{Y\sim Q}[\mathbf {S} (Q,Y)]\leq \mathbb {E} _{Y\sim Q}[\mathbf {S} (F,Y)]}$a pesar de${\displaystyle F,Q\in {\mathcal {F}}}$.

Es estrictamente correcto que la ecuación anterior se cumpla con igualdad si y solo si${\displaystyle F=Q}$.

Una función de puntuación${\displaystyle S}$es consistente para el funcional${\displaystyle T}$relativo a la clase${\displaystyle {\mathcal {F}}}$si

${\displaystyle \mathbb {E} _{Y\sim F}[S(t,Y)]\leq \mathbb {E} _{Y\sim F}[S(x,Y)]}$a pesar de${\displaystyle F\in {\mathcal {F}}}$, todo${\displaystyle t\in T(F)}$y todo${\displaystyle x\in \mathbb {R} ^{d}}$.

Es estrictamente consistente si es consistente y la igualdad en la ecuación anterior implica que${\displaystyle x\in T(F)}$.

La regla de puntuación logarítmica es una regla de puntuación estrictamente propia y local. Es también el opuesto de la entropía de Shannon , que se utiliza comúnmente como criterio de puntuación en la inferencia bayesiana . Esta regla de puntuación tiene sólidos fundamentos en la teoría de la información .

${\displaystyle \mathbf {S} (\mathbf {p} ,i)=\ln(p_{i})}$

Aquí, la puntuación se calcula como el logaritmo de la estimación de probabilidad para el resultado real. Es decir, una predicción del 80% que resultó ser cierta recibiría una puntuación de ln(0,8) = −0,22 . Esta misma predicción también asigna una probabilidad del 20% al caso contrario, por lo que si la predicción resulta falsa, recibiría una puntuación basada en ese 20%: ln(0,2) = −1,6 . El objetivo de un pronosticador es maximizar la puntuación y que esta sea lo más alta posible, y −0,22 es, de hecho, mayor que −1,6.

Si se trata la veracidad o falsedad de la predicción como una variable x con valor 1 o 0 respectivamente, y la probabilidad expresada como p , entonces se puede escribir la regla de puntuación logarítmica como x ln( p ) + (1 − x ) ln(1 − p ) . Nótese que se puede usar cualquier base logarítmica, ya que las reglas de puntuación estrictamente propias siguen siendo estrictamente propias bajo una transformación lineal. Es decir:

${\displaystyle L(\mathbf {p} ,i)=\log _{b}(p_{i})}$

es estrictamente apropiado para todos${\displaystyle b>1}$.

La regla de puntuación cuadrática es una regla de puntuación estrictamente propia.

${\displaystyle \mathbf {S} _{Q}(\mathbf {p} ,i)=2p_{i}-\mathbf {p} \cdot \mathbf {p} =2p_{i}-\sum _{j=1}^{m}p_{j}^{2}}$

dónde${\displaystyle p_{i}}$es la probabilidad asignada a la respuesta correcta${\displaystyle i}$.

La puntuación de Brier , propuesta originalmente por Glenn W. Brier en 1950, ^{[ 6 ]} se puede obtener mediante una transformación afín a partir de la regla de puntuación cuadrática.

${\displaystyle \mathbf {S} _{B}(\mathbf {p} ,i)=\sum _{j=1}^{m}(y_{j}-p_{j})^{2}}$

Dónde${\displaystyle y_{j}=1}$cuando el${\displaystyle j}$El evento es correcto y${\displaystyle y_{j}=0}$De lo contrario, puede considerarse una generalización del error cuadrático medio a las predicciones probabilísticas.

Una diferencia importante entre estas dos reglas es que un pronosticador debe esforzarse por maximizar la puntuación cuadrática.${\displaystyle \mathbf {S} _{Q}}$pero minimizando la puntuación de Brier${\displaystyle \mathbf {S} _{B}}$Esto se debe a un signo negativo en la transformación lineal entre ellos.

La regla de puntuación esférica es también una regla de puntuación estrictamente correcta.

${\displaystyle \mathbf {S} (\mathbf {p} ,i)={\frac {p_{i}}{\lVert \mathbf {p} \rVert }}={\frac {p_{i}}{\sqrt {p_{1}^{2}+\cdots +p_{m}^{2}}}}}$

También su generalización con${\displaystyle \alpha >1}$es estrictamente apropiado

${\displaystyle \mathbf {S} (\mathbf {p} ,i)={\frac {p_{i}^{\alpha -1}}{\left(\sum _{j=1}^{m}p_{j}^{\alpha }\right)^{(\alpha -1)/\alpha }}}}$

La puntuación de probabilidad clasificada ^{[ 7 ]} (RPS) es una regla de puntuación estrictamente apropiada, que se puede expresar como:

${\displaystyle RPS(\mathbf {p} ,i)=\sum _{k=1}^{m-1}\left(\sum _{j=1}^{k}p_{j}-y_{j}\right)^{2}}$

Dónde${\displaystyle y_{j}=1}$cuando el${\displaystyle j}$El evento es correcto y${\displaystyle y_{j}=0}$de lo contrario, y${\displaystyle m}$es el número de clases. Aparte de otras reglas de puntuación, la puntuación de probabilidad clasificada considera la distancia entre clases, es decir, las clases 1 y 2 se consideran más cercanas que las clases 1 y 3. La puntuación asigna mejores puntuaciones a las predicciones probabilísticas con altas probabilidades asignadas a clases cercanas a la clase correcta. Por ejemplo, al considerar predicciones probabilísticas${\displaystyle \mathbf {p} _{1}=(0.5,0.5,0)}$y ${\displaystyle \mathbf {p} _{2}=(0.5,0,0.5)}$, encontramos que${\displaystyle RPS(\mathbf {p} _{1},1)=0.25}$, mientras${\displaystyle RPS(\mathbf {p} _{2},1)=0.5}$, a pesar de que ambos pronósticos probabilísticos asignan una probabilidad idéntica a la clase correcta.

A continuación, a la izquierda, se muestra una comparación gráfica de las reglas de puntuación logarítmica, cuadrática y esférica para un problema de clasificación binaria . El eje x indica la probabilidad reportada para el evento que realmente ocurrió.

Es importante destacar que cada una de las puntuaciones tiene magnitudes y ubicaciones diferentes. Sin embargo, las diferencias de magnitud no son relevantes, ya que las puntuaciones se mantienen válidas tras la transformación afín. Por lo tanto, para comparar distintas puntuaciones, es necesario trasladarlas a una escala común. Una opción de normalización adecuada se muestra en la imagen, donde todas las puntuaciones intersecan los puntos (0,5,0) y (1,1). Esto garantiza que el resultado sea 0 para una distribución uniforme (dos probabilidades de 0,5 cada una), lo que refleja que no hay coste ni beneficio por informar sobre lo que suele ser la distribución de referencia. Todas las puntuaciones normalizadas que se muestran a continuación también dan como resultado 1 cuando a la clase verdadera se le asigna una probabilidad de 1.

La puntuación logarítmica es una regla de puntuación local y estrictamente propia. Se define como

${\displaystyle L(F,y)=-\ln(f(y))}$.

La puntuación logarítmica para variables continuas tiene fuertes vínculos con la estimación de máxima verosimilitud y con la divergencia de Kullback-Leibler .

La regla de puntuación cuadrática para variables continuas dice:

${\displaystyle S(f,y)=2f(y)-\|f\|_{2}^{2}}$

Es estrictamente apropiado para densidades para las cuales la norma${\displaystyle \|f\|_{2}^{2}=\left(\int f(y)^{2}dy\right)^{\frac {1}{2}}}$existe.

La puntuación de probabilidad clasificada continua (CRPS) ^{[ 8 ]} es una regla de puntuación estrictamente apropiada muy utilizada en meteorología. Está estrechamente relacionada con la distancia de energía unidimensional y se define como

${\displaystyle CRPS(F,y)=\int _{\mathbb {R} }(F(x)-H(x-y))^{2}dx}$

dónde${\displaystyle H}$es la función escalón de Heaviside y${\displaystyle y\in \mathbb {R} }$es la observación. Para distribuciones con primer momento finito , la puntuación de probabilidad clasificada continua se puede escribir como: ^{[ 1 ]}

${\displaystyle CRPS(F,y)=\mathbb {E} _{X\sim F}|X-y|-{\frac {1}{2}}\mathbb {E} _{X,X'\sim F}|X-X'|}$

dónde${\displaystyle X}$y${\displaystyle X'}$son variables aleatorias independientes, ambas muestreadas de la distribución${\displaystyle F}$. Esta es la forma energética de CRPS y abre la puerta a la estimación de CRPS mediante muestreo de Monte Carlo (a través de la aproximación del valor esperado).

Además, cuando la función de probabilidad acumulada${\displaystyle F}$es continuo, la puntuación de probabilidad clasificada continua también se puede escribir como ^{[ 9 ]}

${\displaystyle CRPS(F,y)=\mathbb {E} _{X\sim F}|X-y|+\mathbb {E} _{X\sim F}[X]-2\mathbb {E} _{X\sim F}[X\cdot F(X)]}$

La puntuación de probabilidad clasificada continua puede considerarse tanto una extensión continua de la puntuación de probabilidad clasificada como una regresión de cuantiles . La puntuación de probabilidad clasificada continua sobre la distribución empírica${\displaystyle {\hat {F}}_{q}}$de un conjunto ordenado de puntos${\displaystyle q_{1}\leq \ldots \leq q_{n}}$(es decir, cada punto tiene${\displaystyle 1/n}$probabilidad de ocurrencia), es igual al doble de la pérdida de cuantil media aplicada en aquellos puntos con cuantiles distribuidos uniformemente.${\displaystyle (\tau _{1},\ldots ,\tau _{n})=(1/(2n),\ldots ,(2n-1)/(2n))}$: ^{[ 10 ]}

${\displaystyle CRPS\left({\hat {F}}_{q},y\right)={\frac {2}{n}}\sum _{i=1}^{n}\tau _{i}(y-q_{i})_{+}+(1-\tau _{i})(q_{i}-y)_{+}}$

Para muchas familias populares de distribuciones, se han derivado expresiones de forma cerrada para la puntuación de probabilidad clasificada continua. Esta puntuación se ha utilizado como función de pérdida para redes neuronales artificiales , en las que las predicciones meteorológicas se procesan posteriormente a una distribución de probabilidad gaussiana . ^{[ 11 ] [ 12 ]}

CRPS también se adaptó al análisis de supervivencia para cubrir eventos censurados. ^{[ 13 ]}

El CRPS puede considerarse como la generalización del error absoluto medio (MAE) a pronósticos probabilísticos, y para una sola muestra es equivalente al MAE. Otra forma de verlo es como la puntuación de Brier/cuadrática de la función de distribución acumulativa muestreada.${\displaystyle F}$para el evento binario${\displaystyle \{X\leq y\}}$.

CRPS es un caso especial de la distancia de Cramér y puede considerarse una mejora de la distancia de Wasserstein, frecuentemente utilizada en aprendizaje automático. La distancia de Cramér tuvo un mejor desempeño en regresión ordinal que la distancia KL o la métrica de Wasserstein. ^{[ 14 ]}

CRPS se utiliza ampliamente para evaluar pronósticos probabilísticos y se compara con otras reglas de puntuación, véase, por ejemplo, ^{[ 15 ]} . Sin embargo, presenta algunas limitaciones teóricas importantes: se ha demostrado que CRPS puede generar evaluaciones sistemáticamente engañosas al favorecer los pronósticos probabilísticos cuyas medianas se aproximan al resultado observado, independientemente de la probabilidad real asignada a esa región, lo que podría resultar en puntuaciones más altas para pronósticos que asignan una masa de probabilidad insignificante (o incluso nula) al resultado verdadero. Además, CRPS no es invariante ante transformaciones suaves de la variable de pronóstico, y su clasificación de los sistemas de pronóstico puede invertirse bajo dichas transformaciones, lo que genera dudas sobre su consistencia para fines de evaluación. ^{[ 16 ]}

La puntuación de Dawid-Sebastiani (DSS) ^{[ 17 ]} solo depende del primer y segundo momento, o equivalentemente, de la media${\displaystyle \mu _{F}}$y desviación estándar${\displaystyle \sigma _{F}}$de la distribución${\displaystyle F}$:

${\displaystyle S(F,y)=\left({\frac {y-\mu _{F}}{\sigma _{F}}}\right)^{2}+\log \sigma _{F}^{2}}$

La puntuación logarítmica multivariante es similar a la puntuación logarítmica univariante:

${\displaystyle L(D,y)=-\ln(f_{D}(y))}$

dónde${\displaystyle f_{D}}$denota la función de densidad de probabilidad de la distribución multivariada predicha${\displaystyle D}$Es una regla de puntuación local y estrictamente apropiada.

La función de puntuación de Hyvärinen (de una densidad p) se define por ^{[ 18 ].}

${\displaystyle s(p)=2\Delta _{y}\log p(y)+\|\nabla _{y}\log p(y)\|_{2}^{2}}$

Dónde${\displaystyle \Delta }$denota la traza hessiana y${\displaystyle \nabla }$denota el gradiente . Esta regla de puntuación puede usarse para simplificar computacionalmente la inferencia de parámetros y abordar la comparación de modelos bayesianos con priors arbitrariamente vagos. ^{[ 18 ] [ 19 ]} También se usó para introducir nuevas cantidades de la teoría de la información más allá de la teoría de la información existente . ^{[ 20 ]}

La regla de puntuación de Hyvärinen es local de orden 2 (lo que significa que tiene en cuenta localmente las derivadas hasta de segundo orden).

La puntuación de energía es una extensión multivariada de la puntuación de probabilidad clasificada continua: ^{[ 1 ]}

${\displaystyle ES_{\beta }(D,Y)=\mathbb {E} _{X\sim D}[\lVert X-Y\rVert _{2}^{\beta }]-{\frac {1}{2}}\mathbb {E} _{X,X'\sim D}[\lVert X-X'\rVert _{2}^{\beta }]}$

Aquí,${\displaystyle \beta \in (0,2)}$,${\displaystyle \lVert \rVert _{2}}$denota el${\displaystyle n}$distancia euclidiana dimensional y${\displaystyle X,X'}$son variables aleatorias muestreadas independientemente de la distribución de probabilidad${\displaystyle D}$. La puntuación de energía es estrictamente apropiada para distribuciones${\displaystyle D}$para qué${\displaystyle \mathbb {E} _{X\sim D}[\lVert X\rVert _{2}]}$es finito. Se ha sugerido que la puntuación de energía es algo ineficaz al evaluar la estructura de dependencia intervariable de la distribución multivariada pronosticada. ^{[ 21 ]} Aparte de un término que depende solo de la distribución de la observación, la puntuación de energía es igual al doble de la distancia de energía entre la distribución predicha y la distribución empírica de la observación.

La puntuación del variograma de orden${\displaystyle p}$está dado por: ^{[ 22 ]}

${\displaystyle VS_{p}(D,Y)=\sum _{i,j=1}^{n}w_{ij}(|Y_{i}-Y_{j}|^{p}-\mathbb {E} _{X\sim D}[|X_{i}-X_{j}|^{p}])^{2}}$

Aquí,${\displaystyle w_{ij}}$son pesos, a menudo establecidos en 1, y${\displaystyle p>0}$puede ser elegido arbitrariamente, pero${\displaystyle p=0.5,1}$o${\displaystyle 2}$se utilizan con frecuencia.${\displaystyle X_{i}}$está aquí para denotar el${\displaystyle i}$'ª variable aleatoria marginal de${\displaystyle X}$. La puntuación del variograma es apropiada para distribuciones para las cuales el${\displaystyle (2p)}$El momento es finito para todos los componentes, pero nunca es estrictamente propio. En comparación con la puntuación de energía, se afirma que la puntuación del variograma es más discriminatoria con respecto a la estructura de correlación prevista.

La puntuación de probabilidad condicional continua clasificada (CRPS condicional o CCRPS) es una familia de reglas de puntuación (estrictamente) adecuadas. La CRPS condicional evalúa una distribución multivariada pronosticada.${\displaystyle D}$mediante la evaluación de CRPS sobre un conjunto prescrito de distribuciones de probabilidad condicional univariadas de la distribución multivariada predicha: ^{[ 23 ]}

${\displaystyle CCRPS_{\mathcal {T}}(D,Y)=\sum _{i=1}^{k}CRPS(P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i}),Y_{v_{i}})}$

Aquí,${\displaystyle X_{i}}$es el${\displaystyle i}$'ª variable marginal de${\displaystyle X\sim D}$,${\displaystyle {\mathcal {T}}=(v_{i},{\mathcal {C}}_{i})_{i=1}^{k}}$es un conjunto de tuplas que define una especificación condicional (con${\displaystyle v_{i}\in \{1,\ldots ,n\}}$y${\displaystyle {\mathcal {C}}_{i}\subseteq \{1,\ldots ,n\}\setminus \{v_{i}\}}$), y${\displaystyle P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i})}$denota la distribución de probabilidad condicional para${\displaystyle X_{v_{i}}}$dado que todas las variables${\displaystyle X_{j}}$para${\displaystyle j\in {\mathcal {C}}_{i}}$son iguales a sus respectivas observaciones. En el caso de que${\displaystyle P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i})}$está mal definido (es decir, su evento condicional tiene probabilidad cero), las puntuaciones CRPS sobre esta distribución se definen como infinitas. El CRPS condicional es estrictamente propio para distribuciones con primer momento finito, si la regla de la cadena se incluye en la especificación condicional, lo que significa que existe una permutación${\displaystyle \phi _{1},\ldots ,\phi _{n}}$de${\displaystyle 1,\ldots ,n}$de tal manera que para todos${\displaystyle 1\leq i\leq n}$:${\displaystyle (\phi _{i},\{\phi _{1},\ldots ,\phi _{i-1}\})\in {\mathcal {T}}}$.

${\displaystyle S(x,y)=(x-y)^{2}}$

${\displaystyle S(x,y)=(\mathbf {1} \{x\geq y\}-\alpha )(x-y)}$

La puntuación inverval es una combinación de las dos pérdidas de pinball para los cuantiles correspondientes.

${\displaystyle S_{\alpha }(l,u;y)=(u-l)+{\frac {2}{\alpha }}(l-y)\,\mathbf {1} \{y<l\}+{\frac {2}{\alpha }}(y-u)\,\mathbf {1} \{y>u\}}$

"El pronosticador es recompensado por intervalos de predicción estrechos, y sufre una penalización, cuyo tamaño depende de α, si la observación no se encuentra dentro del intervalo" ^{[ 1 ].}