desafío del esquema de Winograd

El desafío del esquema de Winograd ( WSC ) es una prueba de inteligencia artificial propuesta en 2012 por Hector Levesque , científico informático de la Universidad de Toronto . Diseñado para ser una mejora de la prueba de Turing , es una prueba de opción múltiple que emplea esquemas de Winograd , preguntas de una estructura muy específica que llevan el nombre de Terry Winograd , profesor de informática de la Universidad de Stanford . ^{[ 1 ]}

En apariencia, las preguntas del esquema de Winograd simplemente requieren la resolución de la anáfora : la máquina debe identificar el antecedente de un pronombre ambiguo en una oración. Esto la convierte en una tarea de procesamiento del lenguaje natural , pero Levesque argumenta que, para los esquemas de Winograd, la tarea requiere el uso de conocimiento y razonamiento de sentido común . ^{[ 2 ]}

El desafío se considera "superado" desde 2019, cuando varios modelos de lenguaje basados ​​en transformadores lograron precisiones superiores al 90%. ^{[ 3 ]}

El desafío del esquema de Winograd se propuso inspirado en la prueba de Turing . Propuesta por Alan Turing en 1950, la prueba de Turing desempeña un papel fundamental en la filosofía de la inteligencia artificial . Turing propuso que, en lugar de debatir si una máquina puede pensar, la ciencia de la IA debería centrarse en demostrar un comportamiento inteligente, que puede ser comprobado. Sin embargo, la naturaleza exacta de la prueba propuesta por Turing ha sido objeto de escrutinio, especialmente desde que un chatbot de IA llamado Eugene Goostman afirmó haberla superado en 2014. Una de las principales preocupaciones con la prueba de Turing es que una máquina podría superarla fácilmente mediante fuerza bruta o engaños, en lugar de verdadera inteligencia. ^{[ 4 ]}

El desafío del esquema de Winograd se propuso en 2012 en parte para mejorar los problemas que salieron a la luz con la naturaleza de los programas que tuvieron un buen desempeño en la prueba. ^{[ 5 ]}

La propuesta original de Turing fue lo que él denominó el juego de imitación , que consiste en conversaciones fluidas y sin restricciones en inglés entre jueces humanos y programas informáticos a través de un canal exclusivamente de texto (como el teletipo). En general, la máquina supera la prueba si los interrogadores no pueden distinguir entre ella y un humano en una conversación de cinco minutos. ^{[ 4 ]}

Nuance Communications anunció en julio de 2014 que patrocinaría una competencia anual de WSC, con un premio de $25,000 para el mejor sistema que pudiera igualar el rendimiento humano. ^{[ 6 ]} Sin embargo, el premio ya no se ofrece.

El factor clave en el WSC es el formato especial de sus preguntas, derivadas de los esquemas de Winograd. Este tipo de preguntas pueden diseñarse para requerir conocimientos y razonamiento de sentido común en diversos ámbitos. Además, deben redactarse cuidadosamente para que las respuestas no se vean sesgadas por restricciones de selección o información estadística sobre las palabras de la oración.

En 2016 y 2018, Nuance Communications patrocinó un concurso, ofreciendo un gran premio de 25 000 dólares para el participante con la puntuación más alta, superior al 90 % (en comparación, los humanos responden correctamente al 92-96 % de las preguntas del WSC ^{[ 10 ]} ). Sin embargo, nadie estuvo cerca de ganar el premio en 2016 y el concurso de 2018 se canceló por falta de participantes; ^{[ 11 ]} el premio ya no se ofrece. ^{[ 12 ]}

El Duodécimo Simposio Internacional sobre Formalizaciones Lógicas del Razonamiento de Sentido Común se celebró del 23 al 25 de marzo de 2015 en la Serie de Simposios de Primavera de la AAAI en la Universidad de Stanford, con especial énfasis en el desafío del esquema de Winograd. El comité organizador incluyó a Leora Morgenstern ( Leidos ), Theodore Patkos (The Foundation for Research & Technology Hellas) y Robert Sloan ( Universidad de Illinois en Chicago ). ^{[ 13 ]}

El Desafío de Esquemas de Winograd 2016 se llevó a cabo el 11 de julio de 2016 en IJCAI-16. Hubo cuatro concursantes. La primera ronda del concurso consistió en resolver PDP (problemas de desambiguación de pronombres), adaptados de fuentes literarias, no construidos como pares de oraciones. ^{[ 14 ]} La puntuación más alta obtenida fue del 58 % de respuestas correctas, por Quan Liu et al., de la Universidad de Ciencia y Tecnología de China. ^{[ 15 ]} Por lo tanto, según las reglas de ese desafío, no se otorgaron premios y el desafío no pasó a la segunda ronda. El comité organizador en 2016 estuvo conformado por Leora Morgenstern, Ernest Davis y Charles Ortiz. ^{[ 16 ]}

En 2017, un modelo de asociación neuronal diseñado para la adquisición de conocimiento de sentido común logró una precisión del 70 % en 70 problemas seleccionados manualmente del conjunto de datos original de 273 esquemas de Winograd. ^{[ 17 ]} En junio de 2018, se logró una precisión del 63,7 % en el conjunto de datos completo utilizando un conjunto de modelos de lenguaje de redes neuronales recurrentes , ^{[ 18 ]} lo que marcó el primer uso de redes neuronales profundas que aprenden de corpus independientes para adquirir conocimiento de sentido común. En 2019, se logró una puntuación del 90,1 % en el conjunto de datos original del esquema de Winograd mediante el ajuste fino del modelo de lenguaje BERT con datos de entrenamiento apropiados similares a WSC para evitar tener que aprender razonamiento de sentido común. ^{[ 10 ]} El modelo de lenguaje general GPT-3 logró una puntuación del 88,3 % sin ajuste fino específico en 2020. ^{[ 19 ]}

En 2019 se diseñó un conjunto de datos más desafiante y competitivo, denominado "Winogrande", con 44 000 problemas. Este conjunto de datos consiste en oraciones con espacios en blanco, a diferencia del formato de pronombres de los conjuntos de datos anteriores. ^{[ 10 ]}

Una versión del desafío del esquema de Winograd es una parte de la colección de desafíos de referencia GLUE ( General Language Understanding Evaluation ) en comprensión automatizada del lenguaje natural . ^{[ 20 ]}

• Sitio web del concurso patrocinado por Nuance Communications.
• Kocijan, Vid; Davis, Ernest; Lukasiewicz, Thomas; Marcus, Gary; Morgenstern, Leora (1 de diciembre de 2023). "La derrota del desafío del esquema de Winograd" . Inteligencia Artificial . 325 103971. arXiv : 2201.02387 . doi : 10.1016/j.artint.2023.103971 . ISSN 0004-3702 . 
• Kocijan, Vid; Lukasiewicz, Thomas; Davis, Ernesto; Marco, Gary; Morgenstern, Leora (2020). "Una revisión de los conjuntos de datos y enfoques del desafío del esquema de Winograd". arXiv : 2004.13831 [ cs.CL ].