Normalización de texto

La normalización de texto es el proceso de transformar un texto en una única forma canónica que podría no haber tenido antes. Normalizar el texto antes de almacenarlo o procesarlo permite la separación de responsabilidades , ya que se garantiza la coherencia de la entrada antes de realizar cualquier operación sobre ella. La normalización de texto requiere conocer qué tipo de texto se va a normalizar y cómo se procesará posteriormente; no existe un procedimiento de normalización universal. ^{[ 1 ]}

La normalización de texto se usa frecuentemente al convertir texto a voz . Los números , las fechas , los acrónimos y las abreviaturas son "palabras" no estándar que deben pronunciarse de manera diferente según el contexto. ^{[ 2 ]} Por ejemplo:

• "$200" se pronunciaría como "doscientos dólares" en inglés, pero como "lua selau tālā" en samoano. ^{[ 3 ]}
• "vi" podría pronunciarse como " vie ", " vee " o " the sixth " dependiendo de las palabras que lo rodean. ^{[ 4 ]}

El texto también se puede normalizar para su almacenamiento y búsqueda en una base de datos. Por ejemplo, si se busca "resume" para que coincida con la palabra "résumé", el texto se normalizaría eliminando los signos diacríticos ; y si se busca "john" para que coincida con "John", el texto se convertiría a una sola mayúscula . Para preparar el texto para la búsqueda, también se puede aplicar lematización (por ejemplo, convertir "flew" y "flying" en "fly"), canonicalizar (por ejemplo, usar consistentemente la ortografía del inglés americano o británico ) o eliminar las palabras vacías .

Para una normalización simple e independiente del contexto, como la eliminación de caracteres no alfanuméricos o signos diacríticos , bastarían las expresiones regulares . Por ejemplo, el script sed normalizaría secuencias de espacios en blanco en un solo espacio. Una normalización más compleja requiere algoritmos igualmente complejos, incluyendo el conocimiento del dominio del idioma y el vocabulario que se está normalizando. Entre otros enfoques, la normalización de texto se ha modelado como un problema de tokenización y etiquetado de flujos de texto ^{[ 5 ]} y como un caso especial de traducción automática. ^{[ 6 ] [ 7 ]}sed ‑e "s/\s+/ /g"  inputfile

En el ámbito de la crítica textual y la edición de textos históricos, el término «normalización» implica un grado de modernización y estandarización, por ejemplo, en la extensión de las abreviaturas de los escribas y la transliteración de los glifos arcaicos típicos de los manuscritos y las primeras fuentes impresas. Por lo tanto, una edición normalizada se distingue de una edición diplomática (o semidiplomática ), en la que se intenta preservar estas características. El objetivo es lograr un equilibrio adecuado entre, por un lado, la fidelidad rigurosa al texto original (incluida, por ejemplo, la conservación de elementos enigmáticos y ambiguos) y, por otro, la producción de un nuevo texto comprensible y accesible para el lector moderno. El grado de normalización queda, por consiguiente, a discreción del editor y varía. Algunos editores, por ejemplo, optan por modernizar la ortografía y la puntuación arcaicas, mientras que otros no. ^{[ 8 ]}

Una edición de un texto puede normalizarse según criterios internos, donde la ortografía se estandariza de acuerdo con el idioma del original, o según criterios externos, donde se aplican las normas de un período de tiempo diferente. ^{[ 9 ]} Como ejemplo de esto último, una edición publicada de un manuscrito islandés medieval podría normalizarse según las convenciones del islandés moderno, o bien según el islandés antiguo clásico . ^{[ 9 ]} Los estándares de normalización varían según el idioma de la edición, así como las convenciones específicas del editor.

• Parafraseo automatizado : generación o reconocimiento automático de texto parafraseado. Páginas que muestran descripciones breves de los destinos de redireccionamiento. 
• Canonización : Proceso para convertir datos a una forma "estándar", "normal" o canónica. 
• Simplificación de texto : proceso automatizado 
• Equivalencia Unicode : un aspecto del estándar Unicode.