Hispanopedia Wiki
Articulo de referencia

Palabra de alto

Las palabras vacías son aquellas palabras de una lista de palabras vacías ( o diccionario negativo ) que se filtran antes o después del procesamiento de datos en lenguaje natura...

Hispanopedia WikiContenido en espanolLectura gratuita

Las palabras vacías son aquellas palabras de una lista de palabras vacías ( o diccionario negativo ) que se filtran antes o después del procesamiento de datos en lenguaje natural (es decir, texto) porque se considera que tienen poco valor semántico o son insignificantes para la tarea en cuestión. [ 1 ] No existe una lista universal de palabras vacías utilizada por todas las herramientas de procesamiento del lenguaje natural (PLN), [ 2 ] ni reglas consensuadas para identificarlas, y de hecho, no todas las herramientas utilizan dicha lista. Por lo tanto, se puede elegir cualquier grupo de palabras como palabras vacías para un propósito determinado. La tendencia general en los sistemas de recuperación de información a lo largo del tiempo ha sido desde el uso estándar de listas de palabras vacías bastante grandes (200-300 términos) a listas muy pequeñas (7-12 términos) hasta la ausencia total de listas de palabras vacías. [ 3 ]

Historia de las palabras vacías

Se utilizó un concepto predecesor en la creación de algunas concordancias . Por ejemplo, la primera concordancia hebrea , Me'ir Nativ de Isaac Nathan ben Kalonymus , contenía una lista de una página de palabras sin indexar, con preposiciones y conjunciones no sustantivas similares a las palabras vacías modernas comunes. [ 4 ]

A Hans Peter Luhn , uno de los pioneros en la recuperación de información , se le atribuye la creación de la frase y el uso del concepto al presentar su proceso de indexación automática de palabras clave en contexto . [ 5 ] La frase "palabra de parada", que no aparece en la presentación de Luhn de 1959, y los términos asociados "lista de palabras de parada" y "stoplist" aparecen en la literatura poco después. [ 6 ]

Aunque se suele asumir que las listas de palabras vacías incluyen solo las más frecuentes en un idioma, fue C.J. Van Rijsbergen quien propuso la primera lista estandarizada que no se basaba en la frecuencia de las palabras. La "lista de Van" incluía 250 palabras en inglés. El programa de derivación de palabras de Martin Porter, desarrollado en la década de 1980, se basó en la lista de Van, y la lista de Porter se utiliza actualmente como lista de palabras vacías predeterminada en diversas aplicaciones informáticas.

En 1990, Christopher Fox propuso la primera lista general de palabras vacías basada en información empírica sobre la frecuencia de las palabras, derivada del Corpus Brown :

Este artículo presenta un ejercicio para generar una lista de palabras vacías para texto general, basada en el corpus Brown de 1.014.000 palabras extraídas de una amplia gama de literatura en inglés. Partimos de una lista de tokens que aparecen más de 300 veces en el corpus Brown. De esta lista de 278 palabras, se descartan 32 por ser demasiado importantes como posibles términos de indexación. A continuación, se añaden 26 palabras a la lista, considerando que pueden aparecer con mucha frecuencia en ciertos tipos de literatura. Finalmente, se añaden 149 palabras a la lista, ya que el filtro basado en máquinas de estados finitos, en el que se pretende utilizar esta lista, puede filtrarlas prácticamente sin coste alguno. El resultado final es una lista de 421 palabras vacías que debería ser lo más eficiente y eficaz posible para filtrar las palabras más frecuentes y semánticamente neutras en la literatura general en inglés. [ 7 ]

En la terminología SEO , las palabras vacías son las palabras más comunes que muchos motores de búsqueda solían evitar con el fin de ahorrar espacio y tiempo en el procesamiento de grandes cantidades de datos durante el rastreo o la indexación .

Para algunos motores de búsqueda , estas son algunas de las palabras funcionales cortas más comunes , como the , is , at , which y on . En este caso, las palabras vacías pueden causar problemas al buscar frases que las incluyen, particularmente en nombres como " The Who ", " The The " o " Take That ". Otros motores de búsqueda eliminan algunas de las palabras más comunes, incluidas palabras léxicas como "want", de una consulta para mejorar el rendimiento. [ 8 ]

En los últimos años, las mejores prácticas de SEO en torno a las palabras vacías han evolucionado junto con los campos del aprendizaje automático y el procesamiento del lenguaje natural (PLN). En febrero de 2021, John Mueller, analista de tendencias para webmasters en Google , tuiteó: «No me preocuparía en absoluto por las palabras vacías; escribe con naturalidad. Los motores de búsqueda tienen en cuenta mucho más que palabras individuales. " Ser o no ser " es simplemente una colección de palabras vacías, pero las palabras vacías por sí solas no le hacen justicia». [ 9 ] [ 10 ]

Véase también

Referencias

  1. ↑ Rajaraman, A.; Ullman, JD (2011). "Minería de datos" (PDF) . Minería de conjuntos de datos masivos . págs. 1–17 . doi : 10.1017/CBO9781139058452.002 . ISBN  9781139058452.
  2. ↑ Joel Nothman; Hanmin Qin; Roman Yurchak (2018). "Listas de palabras vacías en paquetes de software libre de código abierto" . Actas del Taller sobre Software de Código Abierto para PLN (NLP-OSS) : 7–12 . doi : 10.18653/V1/W18-2502 . Wikidata Q135104011 . 
  3. ^ Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze (2008). Introducción a la recuperación de información . Prensa de la Universidad de Cambridge. pag. 27. {{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )
  4. ↑ Weinberg, Bella Hass (2004). «Predecesores de las estructuras de indexación científica en el ámbito de la religión» (PDF) . Segunda Conferencia sobre la Historia y el Patrimonio de los Sistemas de Información Científica y Técnica : 126–134 . Archivado del original (PDF) el 3 de enero de 2016. Consultado el 17 de febrero de 2016 .
  5. ↑ Luhn, HP (1959). "Índice de palabras clave en contexto para literatura técnica (Índice KWIC)". American Documentation . 11 (4). Yorktown Heights, NY: International Business Machines Corp.: 288– 295. doi : 10.1002/asi.5090110403 .
  6. ↑ Flood, Barbara J. (1999). "Nota histórica: El inicio de una lista de paradas en Biological Abstracts". Journal of the American Society for Information Science . 50 (12): 1066. doi : 10.1002/(SICI)1097-4571(1999)50:12 < 1066::AID-ASI5 > 3.0.CO ; 2-A .
  7. ↑ Fox, Christopher (1989-09-01). "Una lista de palabras vacías para texto general" . ACM SIGIR Forum . 24 ( 1–2 ): 19–21 . doi : 10.1145/378881.378888 . ISSN 0163-5840 . S2CID 20240000 .  
  8. ↑ Stackoverflow : "Una de nuestras principales optimizaciones de rendimiento para la consulta de "preguntas relacionadas" consiste en eliminar las 10 000 palabras más comunes del diccionario de inglés (según la búsqueda de Google) antes de enviar la consulta al motor de texto completo de SQL Server 2008. Es sorprendente lo poco que queda de la mayoría de las publicaciones una vez que se eliminan las 10 000 palabras más comunes del diccionario de inglés. Esto ayuda a limitar y acotar los resultados devueltos, lo que hace que la consulta sea mucho más rápida".
  9. ↑ "Google: Deja de preocuparte por las palabras vacías y escribe con naturalidad" . seroundtable.com . 16 de febrero de 2021. Consultado el 15 de julio de 2022 .
  10. ↑ John, Mueller (6 de febrero de 2021). "John Mueller sobre las palabras vacías en 2021: "No me preocuparía en absoluto por las palabras vacías"" . Twitter . Consultado el 15 de julio de 2022 .
  • Palabras vacías de texto completo en MySQL
  • Palabras vacías en inglés (CSV)
  • Palabras vacías Indonesia Consulta PHP Array
  • Palabras vacías en alemán, palabras y frases vacías en alemán, otra lista de palabras vacías en alemán
  • Palabras vacías en polaco
  • Colección de palabras vacías en 29 idiomas (archivo)
  • Lista de palabras vacías en hindi.
  • Android TV