Medidas de evaluación (recuperación de información)

La tasa de abandono de sesión es la proporción de sesiones de búsqueda que no resultan en un clic.

La tasa de clics (CTR) es la proporción de usuarios que hacen clic en un enlace específico con respecto al número total de usuarios que ven una página, correo electrónico o anuncio. Se utiliza comúnmente para medir el éxito de una campaña publicitaria en línea para un sitio web en particular, así como la efectividad de las campañas de correo electrónico. ^{[ 6 ]}

La tasa de éxito de sesión mide la proporción de sesiones de usuario que resultan en un éxito. La definición de "éxito" suele depender del contexto, pero en el caso de las búsquedas, un resultado exitoso se suele medir utilizando el tiempo de permanencia como factor principal, junto con la interacción secundaria del usuario. Por ejemplo, se considera un resultado exitoso que el usuario copie la URL del resultado, al igual que copiar y pegar desde el fragmento.

La tasa de resultados cero ( ZRR , por sus siglas en inglés) es la proporción de páginas de resultados de búsqueda (SERP, por sus siglas en inglés) que no arrojan ningún resultado. Esta métrica indica un problema de recuperación de información o que la información buscada no se encuentra en el índice.

La precisión es la fracción de los documentos recuperados que son relevantes para la necesidad de información del usuario.

${\displaystyle {\mbox{precisión}}={\frac {|\{{\mbox{documentos relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos recuperados}}\}|}}}$

En la clasificación binaria , la precisión es análoga al valor predictivo positivo . La precisión tiene en cuenta todos los documentos recuperados. También se puede evaluar considerando solo los mejores resultados devueltos por el sistema usando Precision@k .

Cabe señalar que el significado y el uso de "precisión" en el campo de la recuperación de información difieren de la definición de exactitud y precisión en otras ramas de la ciencia y la estadística .

La tasa de recuperación es la fracción de documentos relevantes para la consulta que se recuperan correctamente.

${\displaystyle {\mbox{recall}}={\frac {|\{{\mbox{documentos relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos relevantes}}\}|}}}$

En la clasificación binaria, la exhaustividad se suele denominar sensibilidad . Por lo tanto, puede considerarse como la probabilidad de que la consulta recupere un documento relevante .

Es muy sencillo lograr una exhaustividad del 100% devolviendo todos los documentos en respuesta a cualquier consulta. Por lo tanto, la exhaustividad por sí sola no es suficiente, sino que también es necesario medir la cantidad de documentos irrelevantes, por ejemplo, calculando la precisión.

La proporción de documentos irrelevantes que se recuperan, respecto del total de documentos irrelevantes disponibles:

${\displaystyle {\mbox{fall-out}}={\frac {|\{{\mbox{documentos no relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos no relevantes}}\}|}}}$

En la clasificación binaria, la caída es lo opuesto a la especificidad y es igual a${\displaystyle (1-{\mbox{especificidad}})}$. Puede considerarse como la probabilidad de que la consulta recupere un documento irrelevante .

Es trivial lograr una tasa de abandono del 0% devolviendo cero documentos en respuesta a cualquier consulta.

La media armónica ponderada de precisión y exhaustividad, la medida F tradicional o puntuación F equilibrada, es:

${\displaystyle F={\frac {2\cdot \mathrm {precisión} \cdot \mathrm {recall} }{(\mathrm {precisión} +\mathrm {recall} )}}}$

Esto también se conoce como el${\displaystyle F_{1}}$medida, porque la exhaustividad y la precisión tienen el mismo peso.

La fórmula general para números reales no negativos${\displaystyle \beta }$es:

${\displaystyle F_{\beta }={\frac {(1+\beta ^{2})\cdot (\mathrm {precision} \cdot \mathrm {recall} )}{(\beta ^{2}\cdot \mathrm {precision} +\mathrm {recall} )}}\,}$

Otras dos medidas F de uso común son la${\displaystyle F_{2}}$medida, que pondera el recuerdo el doble que la precisión, y la${\displaystyle F_{0.5}}$medida que otorga a la precisión el doble de peso que a la exhaustividad.

La medida F fue derivada por van Rijsbergen (1979) de modo que${\displaystyle F_{\beta }}$"mide la efectividad de la recuperación con respecto a un usuario que adjunta${\displaystyle \beta }$"Tanta importancia para recordar como para la precisión". Se basa en la medida de efectividad de van Rijsbergen.${\displaystyle E=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}}$Su relación es:

${\displaystyle F_{\beta }=1-E}$dónde${\displaystyle \alpha ={\frac {1}{1+\beta ^{2}}}}$

Dado que la medida F combina información tanto de la precisión como de la exhaustividad, es una forma de representar el rendimiento general sin presentar dos números.

La precisión y la exhaustividad son métricas de valor único basadas en la lista completa de documentos devueltos por el sistema. Para sistemas que devuelven una secuencia clasificada de documentos, es deseable considerar también el orden en que se presentan los documentos devueltos. Al calcular la precisión y la exhaustividad en cada posición de la secuencia clasificada de documentos, se puede trazar una curva de precisión-exhaustividad, trazando la precisión${\displaystyle p(r)}$en función de la capacidad de recordar${\displaystyle r}$. La precisión promedio calcula el valor promedio de${\displaystyle p(r)}$durante el intervalo desde${\displaystyle r=0}$a${\displaystyle r=1}$: ^{[ 7 ]}

${\displaystyle \operatorname {AveP} =\int _{0}^{1}p(r)dr}$

Esa es el área bajo la curva de precisión-exhaustividad. En la práctica, esta integral se reemplaza por una suma finita sobre cada posición en la secuencia clasificada de documentos:

${\displaystyle \operatorname {AveP} =\sum _{k=1}^{n}P(k)\Delta r(k)}$

dónde${\displaystyle k}$es el rango en la secuencia de documentos recuperados,${\displaystyle n}$es el número de documentos recuperados,${\displaystyle P(k)}$es la precisión en el punto de corte${\displaystyle k}$en la lista, y${\displaystyle \Delta r(k)}$es el cambio en el recuerdo de los elementos${\displaystyle k-1}$a${\displaystyle k}$. ^{[ 7 ]}

Esta suma finita es equivalente a:

${\displaystyle \operatorname {AveP} ={\frac {\sum _{k=1}^{n}P(k)\times \operatorname {rel} (k)}{\mbox{total number of relevant documents}}}\!}$

dónde${\displaystyle \operatorname {rel} (k)}$es una función indicadora que es igual a 1 si el elemento en el rango${\displaystyle k}$es un documento relevante, cero en caso contrario. ^{[ 8 ]} Tenga en cuenta que el promedio se calcula sobre los documentos relevantes en los k documentos recuperados principales y los documentos relevantes no recuperados obtienen una puntuación de precisión de cero.

Algunos autores optan por interpolar el${\displaystyle p(r)}$función para reducir el impacto de las "oscilaciones" en la curva. ^{[ 9 ] [ 10 ]} Por ejemplo, el desafío PASCAL Visual Object Classes (un punto de referencia para la detección de objetos en visión artificial) hasta 2010 ^{[ 11 ]} calculaba la precisión promedio promediando la precisión sobre un conjunto de niveles de recuperación espaciados uniformemente {0, 0.1, 0.2, ... 1.0}: ^{[ 9 ] [ 10 ]}

${\displaystyle \operatorname {AveP} ={\frac {1}{11}}\sum _{r\in \{0,0.1,\ldots ,1.0\}}p_{\operatorname {interp} }(r)}$

dónde${\displaystyle p_{\operatorname {interp} }(r)}$es una precisión interpolada que toma la precisión máxima sobre todos los valores de recuperación mayores que${\displaystyle r}$:

${\displaystyle p_{\operatorname {interp} }(r)=\operatorname {max} _{{\tilde {r}}:{\tilde {r}}\geq r}p({\tilde {r}})}$.

Una alternativa es derivar una analítica${\displaystyle p(r)}$La función se obtiene asumiendo una distribución paramétrica particular para los valores de decisión subyacentes. Por ejemplo, una curva de precisión-exhaustividad binormal se puede obtener asumiendo que los valores de decisión en ambas clases siguen una distribución gaussiana. ^{[ 12 ]}

El valor mínimo de Promedio de Promedio (AveP) alcanzable para una tarea de clasificación determinada viene dado por:

${\displaystyle {\frac {1}{n_{pos}}}\sum _{k=1}^{n_{pos}}{\frac {k}{k+n_{neg}}}}$^{[ 13 ]}

For modern (web-scale) information retrieval, recall is no longer a meaningful metric, as many queries have thousands of relevant documents, and few users will be interested in reading all of them. Precision at k documents (P@k) is still a useful metric (e.g., P@10 or "Precision at 10" corresponds to the number of relevant results among the top 10 retrieved documents), but fails to take into account the positions of the relevant documents among the top k.^[14] Another shortcoming is that on a query with fewer relevant results than k, even a perfect system will have a score less than 1.^[15] It is easier to score manually since only the top k results need to be examined to determine if they are relevant or not.

R-precision requires knowing all documents that are relevant to a query. The number of relevant documents, ${\displaystyle R}$, is used as the cutoff for calculation, and this varies from query to query. For example, if there are 15 documents relevant to "red" in a corpus (R=15), R-precision for "red" looks at the top 15 documents returned, counts the number that are relevant, ${\displaystyle r}$, and turns that into a relevance fraction: ${\displaystyle r/R=r/15}$.^[16]

Note that the R-Precision is equivalent to both the precision at the ${\displaystyle R}$-th position (P@${\displaystyle R}$) and the recall at the ${\displaystyle R}$-th position.^[15]

Empirically, this measure is often highly correlated to mean average precision.^[15]

Mean average precision (MAP) for a set of queries is the mean of the average precision scores for each query.

${\displaystyle \operatorname {MAP} ={\frac {\sum _{q=1}^{Q}\operatorname {AveP(q)} }{Q}}\!}$

where Q is the number of queries.

DCG uses a graded relevance scale of documents from the result set to evaluate the usefulness, or gain, of a document based on its position in the result list. The premise of DCG is that highly relevant documents appearing lower in a search result list should be penalized as the graded relevance value is reduced logarithmically proportional to the position of the result.^[17]

The DCG accumulated at a particular rank position ${\displaystyle p}$ is defined as:

${\displaystyle \mathrm {DCG_{p}} =\sum _{i=1}^{p}{\frac {rel_{i}}{\log _{2}(i+1)}}.}$

Since result set may vary in size among different queries or systems, to compare performances the normalised version of DCG uses an ideal DCG. To this end, it sorts documents of a result list by relevance, producing an ideal DCG at position p (${\displaystyle IDCG_{p}}$), which normalizes the score:

${\displaystyle \mathrm {nDCG_{p}} ={\frac {DCG_{p}}{IDCG{p}}}.}$

The nDCG values for all queries can be averaged to obtain a measure of the average performance of a ranking algorithm. Note that in a perfect ranking algorithm, the ${\displaystyle DCG_{p}}$ will be the same as the ${\displaystyle IDCG_{p}}$produciendo un nDCG de 1,0. Todos los cálculos de nDCG son entonces valores relativos en el intervalo de 0,0 a 1,0 y, por lo tanto, son comparables entre consultas. ^{[ 18 ]}

• Rango recíproco medio
• bpref: una medida basada en la suma de cuántos documentos relevantes se clasifican antes que los documentos irrelevantes ^{[ 16 ].}
• GMAP - media geométrica de la precisión media (por tema) ^{[ 16 ]}
• Medidas basadas en la relevancia marginal y la diversidad documental - véase Relevancia (recuperación de información) §  Problemas y alternativas
• Medidas de relevancia y credibilidad (para noticias falsas en los resultados de búsqueda) ^{[ 19 ]}
• Tasa de aciertos

Las visualizaciones del rendimiento de la recuperación de información incluyen:

• Gráficos que representan la precisión en un eje y la exhaustividad en el otro ^{[ 16 ]}
• Histogramas de precisión promedio sobre diversos temas ^{[ 16 ]}
• Características operativas del receptor (curva ROC)
• Matriz de confusión

Medir la cantidad de consultas realizadas en el sistema de búsqueda por (mes/día/hora/minuto/segundo) permite monitorizar su utilización. Puede usarse para diagnósticos, para detectar picos inesperados en las consultas, o simplemente como referencia para comparar con otras métricas, como la latencia de las consultas. Por ejemplo, un pico en el tráfico de consultas puede explicar un pico en la latencia de las mismas.