Experimento del Mago de Oz

En el campo de la interacción persona-computadora , un experimento del Mago de Oz es un experimento de investigación en el que los sujetos interactúan con un sistema informático que creen autónomo, pero que en realidad es operado o parcialmente operado por un ser humano invisible . ^{[ 1 ]}

La expresión «Mago de Oz» (originalmente «Paradigma de Oz ») se ha popularizado en los campos de la psicología experimental , los factores humanos, la ergonomía , la lingüística y la ingeniería de usabilidad para describir un tipo específico de prueba o diseño iterativo. En dicho experimento, un experimentador de laboratorio (el «mago») simula el comportamiento de una aplicación informática inteligente teórica, a menudo entrando en otra habitación e interceptando todas las comunicaciones entre el participante y el sistema. A veces, esto se realiza sin el conocimiento previo del participante, para gestionar sus expectativas y fomentar comportamientos naturales, mientras que en otras ocasiones el participante está al tanto.

Por ejemplo, un participante en una prueba podría creer que se está comunicando con una computadora mediante una interfaz de voz, cuando en realidad el asistente está introduciendo subrepticiamente sus palabras en la computadora, procesándolas como texto en lugar de audio. La funcionalidad faltante del sistema que proporciona el asistente podría implementarse en versiones posteriores, o podrían ser capacidades hipotéticas que los sistemas actuales no poseen; los detalles precisos generalmente se consideran irrelevantes para el estudio. En situaciones de prueba, el objetivo de estos experimentos puede ser observar el uso y la efectividad de una interfaz de usuario propuesta por los participantes, en lugar de medir la calidad de un sistema completo.

El nombre del experimento proviene de la novela de L. Frank Baum de 1900 , El maravilloso mago de Oz , en la que un hombre común se esconde detrás de una cortina y utiliza tecnología de "amplificación" para fingir ser un poderoso mago .

John F. Kelley acuñó las frases "El mago de Oz" y "Paradigma de Oz" alrededor de 1980 para describir el método que desarrolló durante su tesis doctoral en la Universidad Johns Hopkins . Durante el estudio, además de espejos unidireccionales y otras técnicas, había una cortina opaca que separaba a Kelley ("el mago") de la vista del participante.

La técnica del "experimentador en el bucle" fue desarrollada por primera vez en el Laboratorio de Investigación de Comunicaciones de Chapatis en Johns Hopkins ya en 1975, tres años antes de la llegada de Kelley. W. Randolph Ford utilizó esta técnica con su programa CHECKBOOK, en el que obtenía muestras de lenguaje en un entorno natural. En el método de Ford, se colocaba una versión preliminar del sistema de procesamiento del lenguaje natural frente al usuario. Cuando el usuario introducía una sintaxis desconocida, el software le sugería "¿Podría reformularlo?". Tras la sesión, los algoritmos de procesamiento se modificaban para adaptarse a las nuevas muestras obtenidas y se realizaba otra sesión. Este enfoque condujo al desarrollo final de su técnica de procesamiento del lenguaje natural, la "reducción de patrones multietapa". Ford creía que Kelley acuñó la frase "Paradigma del Mago de Oz" para describir una técnica empleada al menos dos veces antes de que Kelley comenzara su trabajo. Otro equipo, formado por Allen Munro y Don Norman de la Universidad de California en San Diego (Bobrow et al.), utilizó una técnica similar para modelar un sistema de comprensión del lenguaje natural en el Centro de Investigación Xerox de Palo Alto alrededor de 1975.

En ese trabajo, el asistente se sentaba frente a una terminal en una habitación contigua, separada por un espejo unidireccional para poder observar al usuario. Cada entrada del usuario se procesaba correctamente mediante una combinación de procesamiento de software e intervención del asistente en tiempo real. A medida que el proceso se repetía en sesiones posteriores, se añadían más componentes de software y el rol del asistente se reducía gradualmente. Finalmente, la máquina alcanzó un punto en el que podía funcionar sin supervisión, lo que permitía al asistente validar el rendimiento del sistema final en modo autónomo.

En su informe técnico de 1985 para la Universidad de Michigan , Green y Wei-Haas afirman lo siguiente: La primera aparición impresa del nombre "El Mago de Oz" fue en la tesis de Jeff Kelley (Kelley, 1983a, 1983b, 1984a). Se cree que el nombre fue acuñado en respuesta a una pregunta en un seminario de posgrado en Hopkins (Chapanis, 1984; Kelley, 1984b). "¿Qué sucede si el sujeto ve al experimentador [detrás de la "cortina" en una habitación contigua actuando como la computadora]?" Kelley respondió: "Bueno, eso es exactamente lo que le sucedió a Dorothy en El Mago de Oz". Y así el nombre se mantuvo.

También hay una breve referencia al uso previsto de los "experimentos del Mago de Oz" en un artículo de actas de congreso de 1982 escrito por Ford y Smith.

Originalmente, Kelley también utilizó "OZ" como acrónimo de "Offline Zero" (Punto Cero Fuera de Línea), en referencia a la interpretación en tiempo real que el asistente realiza de la entrada del usuario durante la fase de simulación.

Configuraciones experimentales similares se habían utilizado ocasionalmente con anterioridad bajo otros nombres. El investigador de diseño Nigel Cross realizó estudios en la década de 1960 con sistemas de diseño asistido por computadora "simulados" , donde el supuesto simulador era en realidad un operador humano que utilizaba comunicación textual y gráfica a través de CCTV . Como explicó: "Todo lo que el usuario percibe del sistema es esta consola de acceso remoto, y el resto es una caja negra para él. ... bien se puede llenar la caja negra con personas en lugar de con maquinaria. Hacerlo proporciona un simulador relativamente barato, con las notables ventajas de la flexibilidad, la memoria y la inteligencia del operador humano, y que puede reprogramarse para ofrecer una amplia gama de funciones informáticas simplemente cambiando las reglas de funcionamiento. A veces carece de la velocidad y la precisión de la computadora real, pero un equipo de expertos que trabaje simultáneamente puede compensarlo en un grado suficiente para proporcionar una simulación aceptable". ^{[ 2 ]} Cross se refirió posteriormente a esto como una especie de prueba de Turing inversa . ^{[ 3 ]}

El método del Mago de Oz es muy poderoso. Originalmente, Kelley creó un sencillo sistema de reconocimiento de lenguaje natural mediante teclado que superaba con creces las tasas de reconocimiento de cualquiera de los sistemas mucho más complejos de la época. Los informáticos y lingüistas contemporáneos pensaban que, para que un ordenador pudiera "entender" el lenguaje natural lo suficiente como para ayudar en tareas útiles, el software tendría que estar conectado a un formidable "diccionario" con un gran número de categorías para cada palabra. Estas categorías permitirían que un algoritmo de análisis sintáctico muy complejo desentrañara las ambigüedades inherentes al lenguaje producido naturalmente. La ardua tarea de crear tal diccionario llevó a muchos a creer que los ordenadores simplemente nunca "entenderían" realmente el lenguaje hasta que pudieran "criarse" y "experimentar la vida" como humanos, ya que los humanos parecen aplicar toda una vida de experiencias a la interpretación del lenguaje.

El factor clave que permitió el primer uso del método OZ fue que el sistema se diseñó para funcionar en un único contexto (la gestión de calendarios), lo que limitó considerablemente la entrada del usuario, de modo que un modelo de procesamiento del lenguaje sencillo pudo cumplir los objetivos de la aplicación. El modelo de procesamiento se basó en un enfoque de coincidencia de palabras clave/frases clave en dos fases, inspirado en los algoritmos del programa Eliza de Weizenbaum . Al inducir a los participantes a generar muestras de lenguaje en el contexto de la resolución de una tarea real (utilizando un ordenador que creían que comprendía lo que escribían), se redujo considerablemente la variedad y complejidad de las estructuras léxicas recopiladas, lo que permitió desarrollar algoritmos sencillos de coincidencia de palabras clave para procesar el lenguaje real recogido.

Este primer uso de OZ se enmarcó en un enfoque de diseño iterativo . En las primeras sesiones de desarrollo, el experimentador simuló el sistema en su totalidad , realizando todas las consultas a la base de datos y redactando manualmente todas las respuestas para los participantes. A medida que el proceso maduraba, el experimentador fue reemplazando gradualmente las intervenciones humanas con código desarrollado específicamente para procesar todos los datos de entrada recibidos previamente. Al finalizar el proceso, el experimentador pudo observar y analizar las sesiones de forma automatizada.

OZ abordó la crítica obvia de que los métodos iterativos no podían usarse para construir un sistema de lenguaje natural independiente (diccionarios, sintaxis) para cada nuevo contexto, ya que tal método requeriría agregar repetidamente nuevas estructuras y algoritmos para manejar cada nuevo lote de entradas. El enfoque empírico de OZ hizo esto factible; en su aplicación original, el crecimiento del diccionario y la sintaxis alcanzó un nivel asintótico (logrando tasas de reconocimiento del 86% al 97%, según las mediciones empleadas) después de solo 16 ensayos experimentales y el programa resultante, con diccionarios, tenía menos de 300k de código.

Desde su publicación inicial, el método OZ se ha empleado en una amplia variedad de contextos, especialmente en la creación de prototipos y las pruebas de usabilidad de los diseños de interfaz de usuario propuestos, antes de contar con el software de aplicación real.

• Prueba de Turing inversa : una prueba de Turing en la que se invierten los objetivos o roles entre ordenadores y humanos.
• Habitación china : un experimento mental con una premisa similar.
• El Turco Mecánico : un dispositivo del Mago de Oz utilizado como una máquina de ajedrez falsa.