Búsqueda de texto completo

En la recuperación de texto , la búsqueda de texto completo se refiere a un conjunto de técnicas para buscar en un único documento almacenado en computadora o en una colección en una base de datos de texto completo . La búsqueda de texto completo se distingue de las búsquedas basadas en metadatos o en partes específicas de los documentos, como títulos, resúmenes, secciones seleccionadas o referencias bibliográficas. ^{[ 1 ] [ 2 ] [ 3 ]}

En una búsqueda de texto completo, un motor de búsqueda examina las palabras en los documentos almacenados para encontrar coincidencias con las consultas del usuario. ^{[ 4 ]} Las técnicas de búsqueda de texto completo comenzaron a aparecer en la década de 1960 (por ejemplo, IBM STAIRS en 1969) y se hicieron comunes en las bases de datos bibliográficas en línea durante la década de 1990. Muchos sitios web y programas de aplicación, incluidos los procesadores de texto , implementan la funcionalidad de búsqueda de texto completo. ^{[ 1 ] [ 2 ] [ 5 ] [ 6 ]} Algunos motores de búsqueda web, como el antiguo AltaVista , indexaban el texto completo de las páginas web, mientras que otros indexaban solo partes seleccionadas de las páginas. ^{[ 2 ] [ 3 ] [ 7 ]}

Cuando se trabaja con un número reducido de documentos, un motor de búsqueda de texto completo puede escanear el contenido de cada documento directamente para cada consulta , una estrategia conocida como " escaneo serial ". Algunas herramientas, como grep , funcionan de esta manera. ^{[ 1 ] [ 8 ]}

Cuando el número de documentos o consultas es grande, la búsqueda de texto completo se divide generalmente en dos tareas: indexación y búsqueda. Durante la indexación, el motor escanea todos los documentos y crea una lista de términos de búsqueda, a menudo llamada índice o, más precisamente, concordancia . Durante la etapa de búsqueda, las consultas se realizan sobre el índice en lugar de sobre los documentos originales. ^{[ 1 ] [ 2 ] [ 8 ] [ 9 ]}

El indexador registra cada término encontrado en un documento y puede anotar su posición dentro del texto. Las palabras comunes, conocidas como palabras vacías (por ejemplo, "el" o "y"), se omiten porque aportan poco valor a los resultados de la búsqueda. Algunos indexadores también realizan la lematización , que reduce las palabras a su forma base; por ejemplo, "drives", "drove" y "driven" pueden indexarse ​​bajo el concepto de "drive". ^{[ 1 ] [ 2 ] [ 8 ] [ 10 ]}

La precisión y la exhaustividad son medidas estándar de la efectividad de las búsquedas. La exhaustividad cuantifica la proporción de resultados relevantes devueltos por una búsqueda, mientras que la precisión mide la proporción de resultados devueltos que son relevantes. Formalmente, la exhaustividad es la proporción de resultados relevantes devueltos con respecto al número total de resultados relevantes disponibles, y la precisión es la proporción del número de resultados relevantes devueltos con respecto al número total de resultados devueltos. ^{[ 1 ] [ 2 ] [ 4 ] [ 11 ]}

El diagrama de la derecha ilustra una búsqueda con baja exhaustividad y baja precisión. En el diagrama, los puntos rojos y verdes representan la población total de resultados de búsqueda potenciales para una consulta dada, donde los puntos verdes indican resultados relevantes y los rojos, resultados irrelevantes. La relevancia se indica por la proximidad al centro del círculo interior. Los resultados que realmente devolvió la búsqueda se resaltan sobre un fondo azul claro. En el ejemplo, solo se devolvió un resultado relevante de los tres posibles, lo que da una exhaustividad de ⅓ (33%). La precisión es de 1/4 (25%), ya que solo uno de los cuatro resultados devueltos fue relevante. ^{[ 11 ]}

Debido a las ambigüedades del lenguaje natural , los sistemas de búsqueda de texto completo suelen incluir funciones como el filtrado para aumentar la precisión y la lematización para aumentar la exhaustividad. La búsqueda con vocabulario controlado también puede ayudar a mitigar los resultados de baja precisión al etiquetar documentos para reducir la ambigüedad. ^{[ 1 ] [ 2 ] [ 9 ]} Generalmente existe una compensación entre precisión y exhaustividad: aumentar la precisión puede reducir la exhaustividad general, mientras que aumentar la exhaustividad puede disminuir la precisión. ^{[ 1 ] [ 2 ] [ 11 ]}

La búsqueda de texto completo puede recuperar muchos documentos que no son relevantes para la consulta prevista. Dichos documentos se denominan falsos positivos (véase Error de tipo I ). La recuperación de documentos irrelevantes suele deberse a la ambigüedad inherente del lenguaje natural . ^{[ 1 ] [ 2 ] [ 9 ]} En el diagrama adjunto, los falsos positivos están representados por resultados irrelevantes (puntos rojos) que fueron devueltos por la búsqueda (resaltados sobre un fondo azul claro).

Las técnicas de agrupamiento, a menudo basadas en algoritmos bayesianos , pueden ayudar a reducir los falsos positivos. Por ejemplo, para un término de búsqueda como "banco", el agrupamiento puede categorizar los documentos en grupos como "institución financiera", "lugar para sentarse" o "lugar para almacenar". Según la frecuencia de palabras relevantes para estas categorías, un término de búsqueda o un resultado de búsqueda puede asignarse a una o más categorías. Este enfoque se utiliza ampliamente en el ámbito del descubrimiento electrónico de pruebas . ^{[ 12 ]}

En su nivel más básico, los motores de búsqueda devuelven resultados que contienen la frase exacta de la consulta. Existen herramientas y metodologías para corregir errores gramaticales o tipográficos y refinar los resultados; sin embargo, estas técnicas suelen requerir una coincidencia textual precisa. Dado que a menudo existen varias formas de referirse a una entidad o concepto, la búsqueda de texto completo puede no recuperar un resultado si no se utiliza el término exacto en la consulta.

No debe confundirse con la búsqueda semántica; los sinónimos se pueden recuperar creando un índice de términos relacionados, de modo que cuando se busca una variación de una palabra, también se pueden devolver elementos que contengan cualquiera de los términos relacionados. ^{[ 13 ]}

Las limitaciones de la búsqueda de texto completo se han abordado de dos maneras: proporcionando a los usuarios herramientas para expresar las preguntas de búsqueda con mayor precisión y desarrollando algoritmos que mejoran la precisión de la recuperación. ^{[ 1 ] [ 2 ] [ 8 ] [ 11 ] [ 14 ]}

A continuación, se presenta una lista parcial de productos de software que admiten la indexación y búsqueda de texto completo. Algunos de ellos incluyen documentación que describe su arquitectura o algoritmos, lo que puede brindar información adicional sobre cómo se implementa la búsqueda de texto completo.

• Coincidencia de patrones y coincidencia de cadenas
• Procesamiento de términos compuestos
• Búsqueda empresarial
• Extracción de información
• Recuperación de información
• Búsqueda facetada
• WebCrawler , primer motor FTS
• Indexación de motores de búsqueda : cómo los motores de búsqueda generan índices para admitir la búsqueda de texto completo.