Hispanopedia Wiki
Articulo de referencia

Generación de expresiones de referencia

La generación de expresiones referenciales ( REG ) es la subtarea de la generación de lenguaje natural (NLG) que ha recibido mayor atención académica. Mientras que la NLG se ocu...

Hispanopedia WikiContenido en espanolLectura gratuita

La generación de expresiones referenciales ( REG ) es la subtarea de la generación de lenguaje natural (NLG) que ha recibido mayor atención académica. Mientras que la NLG se ocupa de la conversión de información no lingüística a lenguaje natural, la REG se centra únicamente en la creación de expresiones referenciales (frases nominales) que identifican entidades específicas llamadas objetivos .

Esta tarea se puede dividir en dos secciones. La selección de contenido determina qué conjunto de propiedades distingue al texto objetivo, y la realización lingüística define cómo se traducen estas propiedades al lenguaje natural. En la comunidad de generación de lenguaje natural se han desarrollado diversos algoritmos para generar diferentes tipos de expresiones referenciales.

Tipos de expresiones referenciales

En lingüística, una expresión referencial (ER) es cualquier sintagma nominal , o sustituto de un sintagma nominal, cuya función en el discurso es identificar algún objeto individual (cosa, ser, evento...). La terminología técnica para identificar difiere mucho entre las distintas escuelas de lingüística. El término más extendido es probablemente referir , y lo identificado es un referente , como por ejemplo en la obra de John Lyons . En lingüística, el estudio de las relaciones referenciales pertenece a la pragmática , el estudio del uso del lenguaje, aunque también es un tema de gran interés para los filósofos, especialmente para aquellos que desean comprender la naturaleza del conocimiento , la percepción y la cognición en general.

Se pueden utilizar diversos recursos como referencia: determinantes , pronombres , nombres propios ... Las relaciones de referencia pueden ser de distintos tipos; los referentes pueden estar en un mundo "real" o imaginario, en el propio discurso, y pueden ser singulares, plurales o colectivos.

Pronombres

El tipo más simple de expresiones referenciales son los pronombres como él y ello . Las comunidades de lingüística y procesamiento del lenguaje natural han desarrollado varios modelos para predecir referentes anafóricos, como la teoría de centrado, [ 1 ] e idealmente la generación de expresiones referenciales se basaría en dichos modelos. Sin embargo, la mayoría de los sistemas NLG utilizan algoritmos mucho más simples, por ejemplo, usar un pronombre si el referente se mencionó en la oración anterior (o cláusula oracional) y no se mencionó ninguna otra entidad del mismo género en esta oración.

Frases nominales definidas

Se ha realizado una cantidad considerable de investigación sobre la generación de sintagmas nominales definidos, como « el gran libro rojo» . Gran parte de esta investigación se basa en el modelo propuesto por Dale y Reiter. [ 2 ] Este modelo se ha ampliado de diversas maneras; por ejemplo, Krahmer et al. [ 3 ] presentan un modelo de teoría de grafos para la generación de sintagmas nominales definidos con muchas propiedades interesantes. En los últimos años, un evento de tarea compartida ha comparado diferentes algoritmos para la generación de sintagmas nominales definidos, utilizando el corpus TUNA [ 4 ] .

Referencia espacial y temporal

Recientemente se ha investigado más sobre la generación de expresiones referenciales para el tiempo y el espacio. Estas referencias tienden a ser imprecisas (¿cuál es el significado exacto de «esta noche »?) y también a ser interpretadas de diferentes maneras por diferentes personas. [ 5 ] Por lo tanto, puede ser necesario razonar explícitamente sobre las compensaciones entre falsos positivos y falsos negativos, e incluso calcular la utilidad de diferentes expresiones referenciales posibles en un contexto de tarea particular. [ 6 ]

Criterios para buenas expresiones

Idealmente, una buena expresión referencial debería cumplir una serie de criterios:

  • Éxito referencial : Debe identificar de forma inequívoca al referente para el lector.
  • Facilidad de comprensión : El lector debe poder leerlo y comprenderlo rápidamente.
  • Complejidad computacional : El algoritmo de generación debe ser rápido.
  • Sin inferencias falsas : La expresión no debe confundir ni engañar al lector sugiriendo implicaturas falsas u otras inferencias pragmáticas. Por ejemplo, un lector puede confundirse si se le dice « Siéntate junto a la mesa de madera marrón» en un contexto donde solo hay una mesa. [ 2 ]

Historia

Era anterior al año 2000

REG se remonta a los inicios de la NLG. Uno de los primeros enfoques fue realizado por Winograd [ 7 ] en 1972, quien desarrolló un algoritmo REG " incremental " para su programa SHRDLU . Posteriormente, en la década de 1980, los investigadores comenzaron a modelar la capacidad humana para crear expresiones referenciales. Este nuevo enfoque del tema fue influenciado por los investigadores Appelt y Kronfeld, quienes crearon los programas KAMP y BERTRAND [ 8 ] [ 9 ] [ 10 ] y consideraron las expresiones referenciales como partes de actos de habla más amplios.

Algunos de sus hallazgos más interesantes fueron el hecho de que las expresiones referenciales pueden usarse para agregar información más allá de la identificación del referente [ 9 ] , así como la influencia del contexto comunicativo y las máximas griceanas en las expresiones referenciales [ 8 ] . Además, su escepticismo con respecto a la naturalidad de las descripciones mínimas hizo que la investigación de Appelt y Kronfeld sentara las bases de trabajos posteriores sobre REG.

La búsqueda de problemas simples y bien definidos cambió la dirección de la investigación a principios de la década de 1990. Este nuevo enfoque fue liderado por Dale y Reiter, quienes enfatizaron la identificación del referente como objetivo central. [ 11 ] [ 12 ] [ 13 ] [ 14 ] Al igual que Appelt [ 8 ], discuten la conexión entre las máximas de Grice y las expresiones referenciales en su artículo culminante [ 2 ] en el que también proponen una definición formal del problema . Además, Reiter y Dale discuten los algoritmos de Brevidad Completa y Heurísticas Voraces , así como su Algoritmo Incremental (AI), que se convirtió en uno de los algoritmos más importantes en REG. [ nota 1 ]

Desarrollos posteriores

Después del año 2000, la investigación comenzó a eliminar algunas de las suposiciones simplificadoras que se habían hecho en las primeras investigaciones sobre REG para crear algoritmos más sencillos. Diferentes grupos de investigación se concentraron en distintas limitaciones, creando varios algoritmos ampliados. A menudo, estos extienden la IA desde una única perspectiva, por ejemplo, en relación con:

  • Referencia a conjuntos como "los portadores de camisetas" o "las manzanas verdes y el plátano de la izquierda" [ 15 ] [ 16 ] [ 17 ] [ 18 ]
  • Descripciones relacionales como "la taza sobre la mesa" o "la mujer que tiene tres hijos" [ 19 ] [ 20 ] [ 21 ] [ 22 ] [ 23 ]
  • La dependencia del contexto , la vaguedad y la gradabilidad incluyen enunciados como "el hombre mayor" o "el coche de la izquierda" que a menudo no son claros sin un contexto [ 6 ] [ 24 ] [ 25 ].
  • La prominencia y la generación de pronombres dependen en gran medida del discurso, haciendo que, por ejemplo, "ella" sea una referencia a "la persona femenina (más prominente)" [ 26 ] [ 27 ] [ 28 ] [ 29 ] [ 30 ] [ 31 ] [ 32 ]

Muchas suposiciones simplificadoras siguen vigentes o apenas se han empezado a abordar. Además, aún no se ha realizado una combinación de las diferentes extensiones, lo que Krahmer y van Deemter denominan una "empresa no trivial". [ 33 ]

Otro cambio importante después del año 2000 fue el uso cada vez mayor de estudios empíricos para evaluar algoritmos. Este desarrollo se produjo gracias a la aparición de corpus transparentes . Si bien aún se debate sobre cuáles son las mejores métricas de evaluación, el uso de la evaluación experimental ya ha propiciado una mejor comparabilidad de los algoritmos, un debate sobre los objetivos de la REG y una investigación más orientada a las tareas.

Además, la investigación ha ampliado su alcance a temas relacionados, como la elección de marcos de representación del conocimiento (RC) . En este ámbito, la pregunta principal sobre qué marco de RC es el más adecuado para su uso en REG sigue abierta. La respuesta a esta pregunta depende de la claridad con la que se puedan expresar o encontrar las descripciones. Gran parte del potencial de los marcos de RC aún no se ha aprovechado.

Algunos de los diferentes enfoques son el uso de:

[ nota 1 ]

Definición del problema

Dale y Reiter (1995) consideran las expresiones referenciales como descripciones distintivas.

Ellos definen:

  • El referente como la entidad que debe ser descrita
  • El contexto se establece como un conjunto de entidades destacadas
  • El conjunto de contraste o distractores potenciales como todos los elementos del conjunto de contexto excepto el referente.
  • Una propiedad como referencia a un único par atributo-valor.

Cada entidad en el dominio puede caracterizarse como un conjunto de pares atributo-valor, por ejemplo⟨{\displaystyle \langle }tipo, perro⟩{\displaystyle \rangle },⟨{\displaystyle \langle }género, femenino⟩{\displaystyle \rangle }o⟨{\displaystyle \langle }edad, 10 años⟩{\displaystyle \rangle }.

El problema se define entonces de la siguiente manera:

Dejarr{\displaystyle r}ser el referente previsto, ydo{\displaystyle C}sea ​​el conjunto de contraste. Entonces, un conjuntoL{\displaystyle L}Los pares atributo-valor representarán una descripción distintiva si se cumplen las dos condiciones siguientes:

  1. Cada par atributo-valor enL{\displaystyle L}se aplica ar{\displaystyle r}: es decir, cada elemento deL{\displaystyle L}especifica un atributo-valor quer{\displaystyle r}posee.
  2. Por cada miembrodo{\displaystyle c}dedo{\displaystyle C}, hay al menos un elementol{\displaystyle l}deL{\displaystyle L}eso no se aplica ado{\displaystyle c}: es decir, hay unl{\displaystyle l}enL{\displaystyle L}que especifica un atributo-valor quedo{\displaystyle c}no posee.l{\displaystyle l}Se dice que descartado{\displaystyle c}.

En otras palabras, para generar una expresión referencial se busca un conjunto de propiedades que se apliquen al referente pero no a los distractores. [ 2 ]

El problema podría resolverse fácilmente combinando todas las propiedades del referente, lo que a menudo da lugar a descripciones largas que violan la segunda máxima de cantidad de Grice . Otro enfoque sería encontrar la descripción distintiva más corta, como hace el algoritmo Full Brevity . Sin embargo, en la práctica, lo más común es incluir la condición de que las expresiones referenciales producidas por un algoritmo sean lo más parecidas posible a las producidas por humanos, aunque esto no se suele mencionar explícitamente. [ nota 1 ]

Algoritmos básicos

Brevedad completa

El algoritmo Full Brevity siempre encuentra una descripción distintiva mínima, lo que significa que no existe una descripción distintiva más corta con respecto a las propiedades utilizadas.

Por lo tanto, itera sobrenorte=1,2,3,4,...{\displaystyle n=1,2,3,4,...}y comprueba cada descripción de una longitud denorte{\displaystyle n}propiedades hasta que se encuentre una descripción distintiva.

De esta forma de crear expresiones referenciales surgen dos problemas. En primer lugar, el algoritmo tiene una alta complejidad, lo que significa que es NP-difícil , lo que lo hace poco práctico para usar. [ 40 ] En segundo lugar, los hablantes humanos producen descripciones que no son mínimas en muchas situaciones. [ 41 ] [ 42 ] [ 43 ] [ 44 ] [ nota 1 ]

Heurísticas voraces

El algoritmo de heurística voraz [ 11 ] [ 12 ] se aproxima al algoritmo de brevedad completa añadiendo iterativamente la propiedad más distintiva a la descripción. La propiedad más distintiva es aquella que descarta la mayoría de los distractores restantes. El algoritmo de heurística voraz es más eficiente que el algoritmo de brevedad completa. [ nota 1 ]

Dale y Reiter (1995) [ 2 ] presentan el siguiente algoritmo para la heurística voraz:

DejarL{\displaystyle L}sea ​​el conjunto de propiedades que se realizarán en nuestra descripción;PAG{\displaystyle P}sea ​​el conjunto de propiedades que se sabe que son verdaderas de nuestro referente previstor{\displaystyle r}(suponemos quePAG{\displaystyle P}no es vacío); y dejemosdo{\displaystyle C}Sea el conjunto de distractores (el conjunto de contraste). Las condiciones iniciales son, por lo tanto, las siguientes:

do={⟨{\displaystyle C=\{\langle }todos los distractores⟩}{\displaystyle \rangle \}}; PAG={⟨{\displaystyle P=\{\langle }todas las propiedades verdaderas der⟩}{\displaystyle r\rangle \}}; L={}{\displaystyle L=\{\}}

Para describir el referente previstor{\displaystyle r}con respecto al conjunto de contrastesdo{\displaystyle C}, hacemos lo siguiente:

1. Comprobar éxito: si|do|=0{\displaystyle |C|=0}luego regresarL{\displaystyle L}como una descripción distintiva elseifPAG=∅{\displaystyle P=\emptyset }entonces falla, de lo contrario ve al Paso 2. 2. Elija la propiedad: para cadapagi∈PAG{\displaystyle p_{i}\in P}hacer :doi←do∩{incógnita|pagi(incógnita)}{\displaystyle C_{i}\leftarrow C\cap \{x|p_{i}(x)\}} La propiedad elegida espagj{\displaystyle p_{j}}, dóndedoj{\displaystyle C_{j}}es el conjunto más pequeño. Ir al paso 3. 3. Ampliar la descripción (con respecto a la elegida)pagj{\displaystyle p_{j}}): L←L∪{pagj}{\displaystyle L\leftarrow L\cup \{p_{j}\}}do←doj{\displaystyle C\leftarrow C_{j}}PAG←PAG−{pagj}{\displaystyle P\leftarrow P-\{p_{j}\}}Ir al paso 1.

Algoritmo incremental

El Algoritmo Incremental (AI) de Dale y Reiter [ 2 ] fue el algoritmo más influyente antes del año 2000. Se basa en la idea de un orden de preferencia de atributos o propiedades que siguen los hablantes. Para ejecutar el Algoritmo Incremental, primero se debe proporcionar un orden de preferencia de atributos. El algoritmo sigue ese orden y añade a la descripción las propiedades que descartan cualquier distractor restante. Además, Dale y Reiter [ 2 ] enfatizan el tipo de atributo, que siempre se incluye en sus descripciones, incluso si no descarta ningún distractor.

Además, los valores de tipo forman parte de una jerarquía de subsunción que incluye algunos valores de nivel básico . Por ejemplo, en el dominio de las mascotas , chihuahua se subsume en perro , y perro en animal . Dado que perro se define como un nivel básico , los algoritmos preferirían perro si chihuahua no descarta ningún distractor.

El algoritmo incremental es fácil de implementar y también computacionalmente eficiente, ejecutándose en tiempo polinomial . La descripción generada por el IA puede contener propiedades redundantes que resultan superfluas debido a propiedades añadidas posteriormente. Los creadores no consideran esto una debilidad, sino más bien una forma de hacer que las expresiones sean menos "psicolingüísticamente inverosímiles". [ 2 ]

El siguiente algoritmo es una versión simplificada del Algoritmo Incremental de Dale y Reiter [ 2 ] por Krahmer y van Deemter [ 33 ] que toma como entrada el referente r , D que contiene una colección de objetos del dominio y una lista ordenada específica del dominio Pref de atributos preferidos. En la notación L es la descripción, C el conjunto de contexto de distractores y la función RulesOut( ⟨A i , V⟩ ) devuelve el conjunto de objetos que tienen un valor diferente a V para el atributo A i .

Algoritmo incremental ({r}, D, Pref) L ← ∅ C ← D - {r} para cada A i en la lista Pref hacer V = Value(r, A i ) si C ∩ RulesOut( ⟨ A i , V ⟩ ) ≠ ∅ entonces L ← L ∪ { ⟨ A i , V ⟩ } C ← C - RulesOut( ⟨ A i , V ⟩ ) fin si si C = ∅ entonces devolver L fin si devolver fallo [ nota 1 ]

Evaluación de los sistemas REG

Antes del año 2000, la evaluación de los sistemas REG era de naturaleza teórica, como la realizada por Dale y Reiter. [ 2 ] Más recientemente, se han popularizado los estudios empíricos, que se basan principalmente en la suposición de que las expresiones generadas deberían ser similares a las producidas por humanos. La evaluación basada en corpus comenzó bastante tarde en REG debido a la falta de conjuntos de datos adecuados. Sin embargo, la evaluación basada en corpus sigue siendo el método dominante en la actualidad, aunque también existe la evaluación mediante juicio humano. [ nota 1 ]

Evaluación basada en corpus

En primer lugar , es necesario distinguir entre corpus de texto y corpus experimentales. Los corpus de texto, como el corpus GNOME [ 1 ], pueden contener textos de todo tipo de dominios. En REG, se utilizan para evaluar la implementación de algoritmos. Por otro lado, la selección de contenido en REG requiere un corpus que contenga las propiedades de todos los objetos del dominio, así como las propiedades utilizadas en las referencias. Normalmente, se trata de corpus totalmente "semánticamente transparentes" [ 45 ] creados en experimentos con configuraciones sencillas y controladas.

Estos corpus experimentales se pueden dividir, una vez más, en corpus de propósito general , recopilados con otro fin pero analizados para expresiones referenciales, y corpus específicos , centrados en expresiones referenciales. Ejemplos de corpus de propósito general son Pear Stories, [ 46 ] el corpus Map Task [ 47 ] o el corpus Coconut [ 48 ], mientras que el corpus Bishop, [ 49 ] el corpus Drawer [ 50 ] y el corpus TUNA [ 51 ] pertenecen a los corpus específicos. El corpus TUNA, que contiene datos recopilados en la web sobre los dominios de muebles y personas, ya se ha utilizado en tres desafíos REG compartidos. [ nota 1 ]

Métricas de evaluación

Para medir la correspondencia entre los corpus y los resultados de los algoritmos REG, se han desarrollado varias métricas.

Para medir la selección de contenido, se utiliza el coeficiente de Dice [ 52 ] o la métrica MASI (Measuring Agreement on Set-valued Items) [ 53 ] . Estas métricas miden la superposición de propiedades en dos descripciones. En una evaluación, las puntuaciones suelen promediarse sobre las referencias realizadas por diferentes participantes humanos en el corpus. También se utiliza a veces una medida denominada Porcentaje de Recuperación Perfecta (PRP) [ 51 ] o Precisión [ 54 ] , que calcula el porcentaje de coincidencias perfectas entre una referencia generada por un algoritmo y una referencia generada por un humano.

Para la parte de realización lingüística de REG, la superposición entre cadenas se ha medido utilizando métricas como BLEU [ 55 ] o NIST . [ 56 ] Un problema que ocurre con las métricas basadas en cadenas es que, por ejemplo, "The small monkey" se mide más cerca de "The small donkey" que de "The little monkey".

Una forma más laboriosa de evaluar los algoritmos REG es permitir que los humanos juzguen la Adecuación (¿Qué tan clara es la descripción?) y la Fluidez (¿La descripción se da en un inglés bueno y claro?) de la expresión generada. Asimismo, Belz y Gatt [ 57 ] evaluaron expresiones referenciales utilizando una configuración experimental. Los participantes reciben una descripción generada y luego deben hacer clic en el objetivo. Aquí se podrían evaluar las métricas extrínsecas de tiempo de lectura, tiempo de identificación y tasa de error. [ nota 1 ]

Notas

  1. 1 2 3 4 5 6 7 8 9 Esta sección es un extracto del siguiente artículo. Para más detalles, véase: E Krahmer, K van Deemter (2012). Generación computacional de expresiones referenciales: una revisión. Lingüística Computacional 38:173-218

Referencias

  1. 1 2 M Poesio, R Stevenson, B di Eugenio , J Hitzeman (2004). Centrado: una teoría paramétrica y sus instanciaciones. Lingüística Computacional 30:309-363
  2. 1 2 3 4 5 6 7 8 9 10 R Dale, E Reiter (1995). Interpretaciones computacionales de las máximas de Grice en la generación de expresiones referenciales. Cognitive Science , 18:233–263.
  3. 1 2 E Krahmer, S van Erk, A Verleg (2003). Generación de expresiones referenciales basada en grafos. Lingüística Computacional 23:53-72
  4. ↑ "Corpus TUNA | Escuela de Ciencias Naturales e Informáticas | Universidad de Aberdeen" .
  5. ↑ E Reiter, S Sripada, J Hunter, J Yu e I Davy (2005). Selección de palabras en pronósticos meteorológicos generados por computadora. Inteligencia Artificial 167:137-169.
  6. 1 2 R Turner, Y Sripada, E Reiter (2009) Generación de descripciones geográficas aproximadas. Actas del 12º Taller Europeo sobre Generación de Lenguaje Natural (ENLG) , páginas 42–49, Atenas.
  7. ↑ T Winograd (1972). Comprensión del lenguaje natural. Academic Press , Nueva York. Sección 8.3.3, Nomenclatura de objetos y eventos.
  8. 1 2 3 D Appelt (1985). Planificación de expresiones referenciales en inglés. Inteligencia Artificial , 26:1–33.
  9. 1 2 D Appelt, A Kronfeld (1987). Un modelo computacional de referencia. En Actas de la 10.ª Conferencia Internacional Conjunta sobre Inteligencia Artificial (IJCAI) , páginas 640–647, Milán.
  10. ↑ A Kronfeld (1990). Referencia y computación: un ensayo de filosofía aplicada del lenguaje. Cambridge University Press , Cambridge.
  11. 1 2 R Dale (1989). Creando expresiones referenciales. En Actas de la 27.ª Reunión Anual de la Asociación de Lingüística Computacional (ACL) , páginas 68–75.
  12. 1 2 R Dale (1992). Generating Referring Expressions: Constructing Descriptions in a Domain of Objects and Processes. TheMIT Press , Cambridge, MA.
  13. ↑ E Reiter (1990). La complejidad computacional de evitar las implicaturas conversacionales. En Actas de la 28.ª Reunión Anual de la Asociación de Lingüística Computacional (ACL) , páginas 97-104, Pittsburgh, PA.
  14. ↑ E Reiter, R Dale (1992). Un algoritmo rápido para la generación de expresiones referenciales. En Actas de la 14.ª Conferencia Internacional sobre Lingüística Computacional (COLING) , páginas 232–238, Nantes.
  15. ↑ H Horacek (2004). Sobre la referencia a conjuntos de objetos de forma natural. Actas de la 3ª Conferencia Internacional sobre Generación de Lenguaje Natural (INLG) , páginas 70–79, Brockenhurst.
  16. ↑ A Gatt, K van Deemter (2007). Elección léxica y perspectiva conceptual en la generación de expresiones referenciales plurales. Journal of Logic, Language and Information , 16:423–443.
  17. ↑ IH Khan, K van Deemter, G Ritchie (2008). Generación de expresiones referenciales: Gestión de ambigüedades estructurales. Actas de la 22.ª Conferencia Internacional sobre Lingüística Computacional (COLING) , páginas 433–440, Manchester.
  18. ↑ M Stone (2000). Sobre la identificación de conjuntos. Actas de la 1.ª Conferencia Internacional sobre Generación de Lenguaje Natural (INLG) , páginas 116–123, Mitzpe Ramon.
  19. 1 2 R Dale, N Haddock (1991). Generación de expresiones referenciales que involucran relaciones. Actas de la 5ª Conferencia del Capítulo Europeo de la Asociación de Lingüistas Computacionales (EACL) , páginas 161–166, Berlín.
  20. ↑ E Krahmer, M Theune (2002). Generación eficiente de descripciones sensibles al contexto. En K van Deemter, R Kibble, editores, Information Sharing: Givenness and Newness in Language Processing . CSLI Publications, Stanford, CA, páginas 223–264.
  21. 1 2 J Viethen, R Dale (2008). El uso de relaciones espaciales en expresiones referenciales. Actas de la 5ª Conferencia Internacional de Generación de Lenguaje Natural (INLG) , páginas 59–67, Salt Fork, OH.
  22. ↑ Y Ren, K van Deemter, J Pan (2010). Explorando el potencial de la lógica descriptiva para la generación de expresiones referenciales. Actas de la 6.ª Conferencia Internacional sobre Generación de Lenguaje Natural (INLG) , páginas 115-124, Dublín.
  23. 1 2 E Krahmer, M Goudbeek, M Theune (2014). Generación de expresiones de referencia en la interacción: una perspectiva basada en grafos. A Stent, S Bangalore (eds.), Generación de lenguaje natural en sistemas interactivos . Cambridge University Press.
  24. ↑ K van Deemter (2006). Generación de expresiones referenciales que involucran propiedades graduables. Lingüística Computacional , 32(2):195–222.
  25. ↑ H Horacek (2005). Generación de descripciones referenciales en condiciones de incertidumbre. Actas del 10.º Taller Europeo sobre Generación de Lenguaje Natural (ENLG) , páginas 58-67, Aberdeen.
  26. ↑ R Passonneau (1996). Uso del centrado para relajar las restricciones informativas griceanas en los sintagmas nominales anafóricos del discurso. Language and Speech , 39:229–264.
  27. ↑ PW Jordan (2000). Influencias intencionales en las redescripciones de objetos en el diálogo: evidencia de un estudio empírico. Tesis doctoral, Universidad de Pittsburgh.
  28. ↑ E Hajičová (1993). Cuestiones de estructura sintáctica y patrones discursivos: lingüística teórica y computacional, vol. 2. Universidad Carolina, Praga.
  29. ↑ BJ Grosz, AK Joshi, S Weinstein (1995). Centrado: Un marco para modelar la coherencia local del discurso. Lingüística Computacional , 21:203–225.
  30. ↑ D DeVault, C Rich, CL Sidner (2004). Generación de lenguaje natural y contexto discursivo: Cálculo de conjuntos de distractores a partir de la pila de foco. Actas de la 17.ª Reunión Internacional de la Sociedad de Investigación en Inteligencia Artificial de Florida (FLAIRS) , Miami Beach, FL.
  31. ↑ A Siddharthan, A Copestake (2004). Generación de expresiones referenciales en dominios abiertos. Actas de la 42.ª Reunión Anual de la Asociación de Lingüística Computacional (ACL) , páginas 407–414, Barcelona.
  32. ↑ I Paraboni, K van Deemter, J Masthoff (2007). Generación de expresiones referenciales: Facilitando la identificación de referentes. Lingüística Computacional , 33:229–254.
  33. 1 2 E Krahmer, K van Deemter (2012). Generación computacional de expresiones referenciales: una revisión. Lingüística Computacional 38:173-218
  34. ↑ E Krahmer, M Theune, J Viethen, I Hendrickx (2008). Graph: The costs of redundancy in reference expressions. Proceedings of the International Conference on Natural Language Generation (INLG) , pages 227–229, Salt Fork, OH.
  35. ↑ K van Deemter, E Krahmer (2007). Grafos y booleanos: Sobre la generación de expresiones referenciales. En H Bunt, R Muskens, editores, Computing Meaning, Volumen 3. Estudios en lingüística y filosofía . Springer Publishers, Berlín, páginas 397–422.
  36. ↑ C Gardent (2002). Generación de descripciones mínimas definidas. Actas de la 40.ª Reunión Anual de la Asociación de Lingüística Computacional (ACL) , páginas 96-103, Filadelfia, PA.
  37. ↑ M Croitoru, K van Deemter (2007). Un enfoque de grafo conceptual para la generación de expresiones referenciales. Actas de la 20.ª Conferencia Internacional Conjunta sobre Inteligencia Artificial (IJCAI) , páginas 2456–2461, Hyderabad.
  38. ↑ C Gardent , K Striegnitz (2007). Generación de descripciones definidas puente. En H Bunt, Reinhard Muskens, editores, Computing Meaning, Volumen 3. Estudios en Lingüística y Filosofía. Springer Publishers, páginas 369–396, Berlín, DB.
  39. ↑ C Areces, A Koller, K Striegnitz (2008). Referring expressions as formulas of Description Logic. Proceedings of the 5th International Natural Language Generation Conference (INLG) , pages 42–49, Salt Fork, OH.
  40. ↑ MR Garey, D S. Johnson (1979). Computadoras e intratabilidad: una guía a la teoría de la NP-completitud . WH Freeman, Nueva York.
  41. ↑ DR Olson (1970). Lenguaje y pensamiento: Aspectos de una teoría cognitiva de la semántica. Psychological Review , 77:257–273.
  42. ↑ S Sonnenschein (1984). El efecto de la comunicación redundante en los oyentes: por qué los diferentes tipos pueden tener efectos diferentes. Journal of Psycholinguistic Research , 13:147–166.
  43. ↑ T Pechmann (1989). Producción incremental del habla y sobreespecificación referencial. Lingüística , 27:98–110.
  44. ↑ PE Engelhardt, K GD Bailey, F Ferreira (2006). ¿Observan los hablantes y los oyentes la máxima de cantidad de Grice? Journal of Memory and Language , 54:554–573.
  45. ↑ K van Deemter, I van der Sluis, A Gatt (2006). Building a semantically transparent corpus for the generation of referenced expressions. En Proceedings of the 4th International Conference on Natural Language Generation (INLG) , páginas 130–132, Sydney.
  46. ↑ WW Chafe (1980). The Pear Stories: Cognitive, Cultural, and Linguistic Aspects of Narrative Production. Ablex, Norwood, NJ.
  47. ^ AA Anderson, M Bader, E Gurman Bard, E Boyle, G Doherty, S Garrod, S Isard, J Kowtko, J McAllister, J Miller, C Sotillo, H Thompson, R Weinert (1991). El corpus de tareas de mapas del HCRC. Lenguaje y habla , 34:351–366.
  48. ↑ B Di Eugenio , PW Jordan, RH Thomason, JD Moore (2000). El proceso de acuerdo: una investigación empírica de diálogos colaborativos mediados por computadora entre humanos. International Journal of Human–Computer Studies , 53:1017–1076.
  49. ↑ P Gorniak, D Roy (2004). Composición semántica fundamentada para escenas visuales. Journal of Artificial Intelligence Research , 21:429–470.
  50. ↑ J Viethen, R Dale (2006). Algoritmos para generar expresiones referenciales: ¿Hacen lo que hacen las personas? Actas de la 4.ª Conferencia Internacional sobre Generación de Lenguaje Natural (INLG) , páginas 63-70, Sídney.
  51. 1 2 A Gatt, I van der Sluis, K van Deemter (2007). Evaluación de algoritmos para la generación de expresiones referenciales utilizando un corpus equilibrado. Actas del 11.º Taller Europeo sobre Generación de Lenguaje Natural (ENLG) , páginas 49-56, Schloss Dagstuhl.
  52. ↑ LR Dice (1945). Medidas de la cantidad de asociación ecológica entre especies. Ecology , 26:297–302.
  53. ↑ R Passonneau (2006). Medición del acuerdo en elementos con valores de conjunto (MASI) para la anotación semántica y pragmática. Actas de la 5.ª Conferencia Internacional sobre Recursos y Evaluación del Lenguaje (LREC) , páginas 831–836, Génova.
  54. ↑ A Gatt, A Belz, E Kow (2008). El desafío TUNA 2008: descripción general y resultados de la evaluación. Actas de la 5.ª Conferencia Internacional sobre Generación de Lenguaje Natural (INLG) , páginas 198–206, Salt Fork, OH.
  55. ↑ K Papineni, S Roukos, T Ward, W Zhu (2002). BLEU: Un método para la evaluación automática de la traducción automática. Actas de la 40.ª Reunión Anual de la Asociación de Lingüística Computacional (ACL) , páginas 311–318, Filadelfia, PA.
  56. ↑ G Doddington (2002). Evaluación automática de la calidad de la traducción automática mediante estadísticas de coocurrencia de n-gramas. Actas de la 2.ª Conferencia Internacional sobre Investigación en Tecnología del Lenguaje Humano (HLT) , páginas 138-145, San Diego, CA.
  57. ↑ A Belz, A Gatt (2008). Medidas de evaluación intrínsecas frente a extrínsecas para la generación de expresiones referenciales. Actas de la 46.ª Reunión Anual de la Asociación de Lingüística Computacional (ACL) , Columbus, OH.