Arquitectura general para la ingeniería de textos

General Architecture for Text Engineering ( GATE ) es un conjunto de herramientas de procesamiento del lenguaje natural (PLN) en Java para diversas tareas, incluida la extracción de información en múltiples idiomas. ^{[ 1 ]} Actualmente, es utilizado en todo el mundo por una amplia comunidad de científicos, empresas, docentes y estudiantes. Su desarrollo original tuvo lugar en la Universidad de Sheffield a partir de 1995.

Al 28 de mayo de 2011, 881 personas estaban en la lista de correo gate-users en SourceForge.net, y se registraron 111.932 descargas desde SourceForge desde que el proyecto se trasladó a SourceForge en 2005. ^{[ 2 ]} El artículo "GATE: Un marco y entorno de desarrollo gráfico para herramientas y aplicaciones de PLN robustas" ^{[ 3 ]} ha recibido más de 2000 citas desde su publicación (según Google Scholar). Los libros que cubren el uso de GATE, además de la Guía del usuario de GATE, ^{[ 4 ]} incluyen "Building Search Applications: Lucene, LingPipe, and Gate", de Manu Konchady, ^{[ 5 ]} e "Introduction to Linguistic Annotation and Text Analytics", de Graham Wilcock. ^{[ 6 ]}

La comunidad y la investigación de GATE han participado en varios proyectos de investigación europeos, entre ellos: Transitioning Applications to Ontologies, SEKT, NeOn, Media-Campaign, Musing, Service-Finder, LIRICS y KnowledgeWeb .

GATE incluye un sistema de extracción de información llamado ANNIE ( A Nearly-New Information Extraction System ), que consta de un conjunto de módulos que comprenden un tokenizador , un diccionario geográfico , un divisor de oraciones , un etiquetador de partes del discurso , un transductor de entidades nombradas y un etiquetador de correferencias . ANNIE puede utilizarse tal cual para proporcionar funcionalidades básicas de extracción de información o como punto de partida para tareas más específicas.

Los idiomas que se manejan actualmente en GATE incluyen inglés , chino , árabe , búlgaro , francés , alemán , hindi , italiano , cebuano , rumano , ruso y danés .

Se incluyen complementos para aprendizaje automático con Weka , RASP, MAXENT, SVM Light, así como una integración con LIBSVM y una implementación propia de perceptrón , para gestionar ontologías como WordNet , para consultar motores de búsqueda como Google o Yahoo , para el etiquetado de partes del discurso con Brill o TreeTagger, y muchos más. También hay disponibles muchos complementos externos, por ejemplo, para gestionar tweets . ^{[ 7 ]}

GATE acepta entradas en varios formatos, como documentos TXT , HTML , XML , Doc , PDF y Java Serial , PostgreSQL , Lucene , bases de datos Oracle con la ayuda del almacenamiento RDBMS a través de JDBC .

Los transductores JAPE se utilizan en GATE para manipular anotaciones en texto. La documentación se encuentra en la Guía del usuario de GATE. ^{[ 8 ]} Press Association Images también ha escrito un tutorial. ^{[ 9 ]}

La captura de pantalla muestra el visor de documentos para visualizar un documento y sus anotaciones. En rosa se muestran las anotaciones de hipervínculos de un archivo HTML . La lista de la derecha corresponde a los conjuntos de anotaciones, y la tabla inferior muestra la lista de anotaciones. En el centro se encuentra la ventana del editor de anotaciones.<a>

GATE genera grandes cantidades de información, incluyendo texto en lenguaje natural, anotaciones semánticas e información ontológica. A veces, los datos son el producto final de una aplicación, pero a menudo la información sería más útil si se pudiera buscar de manera eficiente. GATE Mimir ofrece soporte para indexar y buscar la información lingüística y semántica generada por dichas aplicaciones, y permite consultar la información mediante combinaciones arbitrarias de texto, información estructural y SPARQL .

• Arquitectura de Gestión de Información No Estructurada (UIMA)
• OpenNLP
• Pheme , un importante proyecto de la UE gestionado por el grupo GATE sobre la detección temprana de información falsa en las redes sociales.

• Sitio web oficial