Prueba de Turing

La cuestión de si es posible que las máquinas piensen tiene una larga historia, firmemente arraigada en la distinción entre las concepciones dualistas y materialistas de la mente. René Descartes prefigura aspectos de la prueba de Turing en su Discurso del método de 1637 cuando escribe:

¿Cuántos autómatas o máquinas móviles diferentes podría fabricar la industria humana  ? Pues podemos comprender fácilmente que una máquina esté constituida de tal manera que pueda pronunciar palabras e incluso emitir respuestas a acciones corpóreas que produzcan cambios en sus órganos; por ejemplo, si se la toca en una parte concreta, puede preguntar qué queremos decirle; si se la toca en otra, puede exclamar que le duele, y así sucesivamente. Pero nunca sucede que organice su discurso de diversas maneras para responder adecuadamente a todo lo que se diga en su presencia, como puede hacerlo incluso el ser humano más primitivo. ^{[ 9 ]}

Aquí Descartes señala que los autómatas son capaces de responder a las interacciones humanas, pero argumenta que no pueden responder adecuadamente a lo que se dice en su presencia, como lo haría un ser humano. Por lo tanto, Descartes anticipa la prueba de Turing al definir la insuficiencia de una respuesta lingüística apropiada como aquello que separa al ser humano del autómata. Descartes no considera la posibilidad de que futuros autómatas puedan superar dicha insuficiencia, y por consiguiente, no propone la prueba de Turing como tal, aunque sí anticipa su marco conceptual y sus criterios.

En su libro Pensées philosophiques de 1746 , Denis Diderot formula un criterio de prueba de Turing, aunque manteniendo la importante suposición limitante implícita de que los participantes son seres vivos naturales, en lugar de considerar artefactos creados:

Si encontraran un loro que pudiera responder a todo, lo consideraría un ser inteligente sin dudarlo.

Esto no significa que esté de acuerdo con ello, sino que ya era un argumento común entre los materialistas de la época.

Según el dualismo, la mente es no física (o, al menos, posee propiedades no físicas ) ^{[ 10 ]} y, por lo tanto, no puede explicarse en términos puramente físicos. Según el materialismo, la mente puede explicarse físicamente, lo que deja abierta la posibilidad de mentes producidas artificialmente. ^{[ 11 ]}

En 1936, el filósofo Alfred Ayer consideró la pregunta filosófica estándar sobre otras mentes : ¿cómo sabemos que otras personas tienen las mismas experiencias conscientes que nosotros? En su libro Lenguaje, verdad y lógica , Ayer propuso un protocolo para distinguir entre un hombre consciente y una máquina inconsciente: «El único fundamento que puedo tener para afirmar que un objeto que parece ser consciente no es realmente un ser consciente, sino solo un maniquí o una máquina, es que no supera una de las pruebas empíricas mediante las cuales se determina la presencia o ausencia de conciencia». ^{[ 12 ] [ 13 ] [ 14 ]} (Esta sugerencia es muy similar a la prueba de Turing, pero no es seguro que Turing conociera el clásico filosófico de Ayer). En otras palabras, una cosa no es consciente si no supera la prueba de la conciencia.

Una idea rudimentaria de la prueba de Turing aparece en la novela de 1726 Los viajes de Gulliver, de Jonathan Swift . ^{[ 15 ] [ 16 ]} Cuando Gulliver es llevado ante el rey de Brobdingnag , el rey piensa al principio que Gulliver podría ser «un mecanismo de relojería (que en ese país ha alcanzado una gran perfección) ideado por algún artista ingenioso». Incluso cuando oye hablar a Gulliver, el rey sigue dudando de si a Gulliver le enseñaron «un conjunto de palabras» para que «vendiera a un mejor precio». Gulliver cuenta que solo después de «hacerme varias preguntas más y seguir recibiendo respuestas racionales» el rey se convenció de que Gulliver no era una máquina. ^{[ 17 ]}

Las pruebas en las que un humano juzga si una computadora o un extraterrestre es inteligente eran una convención establecida en la ciencia ficción en la década de 1940, y es probable que Turing estuviera al tanto de ellas. ^{[ 18 ]} " Una odisea marciana " (1934) de Stanley G. Weinbaum proporciona un ejemplo de cuán sutiles podían ser dichas pruebas. ^{[ 18 ]}

Ejemplos anteriores de máquinas o autómatas que intentan hacerse pasar por humanos incluyen el mito griego antiguo de Pigmalión , quien crea una escultura de una mujer animada por Afrodita ; la novela de Carlo Collodi , Las aventuras de Pinocho , sobre una marioneta que quiere convertirse en un niño de verdad; y el cuento de E.T.A. Hoffmann de 1816, " El hombre de arena ", donde el protagonista se enamora de un autómata. En todos estos ejemplos, las personas son engañadas por seres artificiales que, hasta cierto punto, se hacen pasar por humanos. ^{[ 19 ]}

Los investigadores del Reino Unido llevaban explorando la "inteligencia artificial" hasta diez años antes de la fundación del campo de la investigación en inteligencia artificial ( IA ) en 1956. ^{[ 20 ]} Era un tema común entre los miembros del Ratio Club , un grupo informal de investigadores británicos de cibernética y electrónica que incluía a Alan Turing . ^{[ 21 ]}

Turing, en particular, había estado desarrollando la noción de inteligencia artificial desde al menos 1941 ^{[ 22 ]} y una de las primeras menciones conocidas de "inteligencia computacional" la hizo él en 1947. ^{[ 23 ]} En el informe de Turing, "Intelligent Machinery", ^{[ 24 ]} investigó "la cuestión de si es posible o no que la maquinaria muestre un comportamiento inteligente" ^{[ 25 ]} y, como parte de esa investigación, propuso lo que puede considerarse el precursor de sus pruebas posteriores:

No es difícil diseñar una máquina de papel que juegue una partida de ajedrez bastante decente. ^{[ 26 ]} Ahora, tomemos a tres hombres, A, B y C, como sujetos del experimento. A y C serán jugadores de ajedrez bastante malos, B es el operador que maneja la máquina de papel. ... Se utilizan dos habitaciones con algún tipo de sistema para comunicar los movimientos, y se juega una partida entre C y A o la máquina de papel. A C le puede resultar bastante difícil saber contra quién está jugando. ^{[ 27 ]}

« Computing Machinery and Intelligence » ( 1950 ) fue el primer artículo publicado por Turing que se centró exclusivamente en la inteligencia artificial. Turing comienza el artículo de 1950 con la afirmación: «Propongo considerar la pregunta "¿Pueden pensar las máquinas? " » ^{[ 5 ].} Como él mismo destaca, el enfoque tradicional para esta pregunta consiste en comenzar con definiciones , definiendo tanto el término «máquina» como el de «pensar». Turing opta por no hacerlo; en su lugar, reemplaza la pregunta por una nueva, «estrechamente relacionada y expresada en palabras relativamente inequívocas» ^{[ 5 ]} . En esencia, propone cambiar la pregunta de «¿Pueden pensar las máquinas?» a «¿Pueden las máquinas hacer lo que nosotros (como seres pensantes) podemos hacer?» ^{[ 28 ].} La ventaja de la nueva pregunta, argumenta Turing, es que traza «una línea bastante clara entre las capacidades físicas e intelectuales del ser humano» ^{[ 29 ] .}

Para demostrar este enfoque, Turing propone una prueba inspirada en un juego de mesa conocido como el "juego de imitación", en el que un hombre y una mujer entran en habitaciones separadas y los invitados intentan distinguirlos escribiendo una serie de preguntas y leyendo las respuestas mecanografiadas que se les envían. En este juego, tanto el hombre como la mujer pretenden convencer a los invitados de que son el otro. (Huma Shah argumenta que Turing presentó esta versión del juego con dos personas únicamente para introducir al lector en la prueba de preguntas y respuestas entre máquina y humano. ^{[ 30 ]} ) Turing describió su nueva versión del juego de la siguiente manera:

Ahora nos preguntamos: "¿Qué sucederá cuando una máquina asuma el papel de A en este juego?". ¿El interrogador se equivocará con la misma frecuencia cuando el juego se juegue de esta manera que cuando se juegue entre un hombre y una mujer? Estas preguntas reemplazan nuestra pregunta original: "¿Pueden pensar las máquinas?" ^{[ 29 ]}

Más adelante en el artículo, Turing sugiere una formulación alternativa "equivalente" que involucra a un juez conversando únicamente con una computadora y un hombre. ^{[ 31 ]} Si bien ninguna de estas formulaciones coincide exactamente con la versión de la prueba de Turing más conocida hoy en día, propuso una tercera en 1952. En esta versión, que Turing analizó en una transmisión de radio de la BBC , un jurado formula preguntas a una computadora y la función de esta es lograr que una proporción significativa del jurado crea que en realidad es un hombre. ^{[ 32 ]}

El artículo de Turing consideró nueve objeciones hipotéticas, que incluyen algunos de los principales argumentos contra la inteligencia artificial que se han planteado en los años transcurridos desde su publicación (véase " Computing Machinery and Intelligence "). ^{[ 6 ]}

En su artículo de 1980, « Mentes, cerebros y programas», John Searle propuso el experimento mental de la «habitación china» y argumentó que la prueba de Turing no podía utilizarse para determinar si una máquina podía pensar. Searle señaló que el software (como ELIZA) podía superar la prueba de Turing simplemente manipulando símbolos que no comprendían. Sin comprensión, no se les podía describir como «pensantes» en el mismo sentido que a las personas. Por lo tanto, Searle concluyó que la prueba de Turing no podía demostrar que las máquinas pudieran pensar. ^{[ 33 ]} Al igual que la propia prueba de Turing, el argumento de Searle ha sido ampliamente criticado ^{[ 34 ]} y respaldado. ^{[ 35 ]}

Argumentos como los de Searle y otros que trabajaban en la filosofía de la mente desencadenaron un debate más intenso sobre la naturaleza de la inteligencia, la posibilidad de máquinas con una mente consciente y el valor de la prueba de Turing, que continuó durante las décadas de 1980 y 1990. ^{[ 36 ]}

El Premio Loebner, ahora considerado extinto, ^{[ 37 ]} proporcionó una plataforma anual para pruebas de Turing prácticas, celebrándose la primera edición en noviembre de 1991. ^{[ 38 ]} Fue patrocinado por Hugh Loebner . El Centro de Estudios del Comportamiento de Cambridge, en Massachusetts , Estados Unidos, organizó los premios hasta la edición de 2003 inclusive. Como lo describió Loebner, una de las razones de la creación del concurso fue impulsar el estado de la investigación en IA, al menos en parte, porque nadie había tomado medidas para implementar la prueba de Turing a pesar de 40 años de debate. ^{[ 39 ]}

La primera edición del Premio Loebner en 1991 reavivó el debate sobre la viabilidad de la prueba de Turing y la conveniencia de su desarrollo, tanto en la prensa popular ^{[ 40 ]} como en el ámbito académico. ^{[ 41 ]} El primer concurso fue ganado por un programa sin inteligencia identificable que logró engañar a interrogadores inexpertos, llevándolos a realizar una identificación errónea. Esto puso de manifiesto varias deficiencias de la prueba de Turing (que se analizan más adelante ): El ganador obtuvo su victoria, al menos en parte, gracias a su capacidad para "imitar errores de escritura humanos"; ^{[ 40 ]} los interrogadores, sin conocimientos técnicos, fueron fácilmente engañados; ^{[ 41 ]} y algunos investigadores en IA llegaron a considerar que la prueba era simplemente una distracción de investigaciones más fructíferas. ^{[ 42 ]}

Los premios de plata (solo texto) y oro (audio y vídeo) nunca se han otorgado. Sin embargo, el concurso concede la medalla de bronce cada año al sistema informático que, a juicio del jurado, demuestra el comportamiento conversacional más humano entre las propuestas de ese año. ALICE ( Artificial Linguistic Internet Computer Entity ) ha ganado el premio de bronce en tres ocasiones en los últimos años (2000, 2001 y 2004). Jabberwacky, de aprendizaje automático, lo ganó en 2005 y 2006.

El Premio Loebner ponía a prueba la inteligencia conversacional; los ganadores solían ser programas de chatbot o Entidades Conversacionales Artificiales (ECA) . Las primeras reglas del Premio Loebner restringían las conversaciones: cada participante y humano oculto conversaba sobre un solo tema, ^{[ 43 ]} por lo que los interrogadores estaban limitados a una línea de preguntas por interacción con la entidad. La regla de conversación restringida se eliminó para el Premio Loebner de 1995. La duración de la interacción entre el juez y la entidad ha variado en los Premios Loebner. En Loebner 2003, en la Universidad de Surrey, cada interrogador disponía de cinco minutos para interactuar con una entidad, máquina o humano oculto. Entre 2004 y 2007, el tiempo de interacción permitido en los Premios Loebner fue de más de veinte minutos. La última competición tuvo lugar en 2019, debido a la falta de financiación para el premio tras el fallecimiento de Loebner en 2016. ^{[ 44 ]}

CAPTCHA (Prueba de Turing pública completamente automatizada para distinguir entre ordenadores y humanos) es uno de los conceptos más antiguos de la inteligencia artificial. El sistema CAPTCHA se utiliza habitualmente en línea para diferenciar entre humanos y bots en internet. Se basa en la prueba de Turing. Al mostrar letras y números distorsionados, pide al usuario que los identifique y los introduzca en un campo, algo que los bots tienen dificultades para hacer. ^{[ 45 ] [ 46 ]}

reCAPTCHA es un sistema CAPTCHA propiedad de Google . Tanto reCAPTCHA v1 como v2 funcionaban solicitando al usuario que hiciera coincidir imágenes distorsionadas o identificara letras y números distorsionados. reCAPTCHA v3 está diseñado para no interrumpir a los usuarios y se ejecuta automáticamente al cargar páginas o hacer clic en botones. Esta verificación CAPTCHA "invisible" se realiza en segundo plano y no muestra ningún desafío, lo que filtra la mayoría de los bots básicos . ^{[ 47 ] [ 48 ]}

Un elemento crucial de cualquier prueba de laboratorio es que debe haber un control. Turing nunca aclara si el interrogador en sus pruebas sabe que uno de los participantes es una computadora. Solo afirma que el jugador A debe ser reemplazado por una máquina, no que el jugador C debe ser consciente de este reemplazo. ^{[ 29 ]} Cuando Colby, FD Hilf, S Weber y AD Kramer probaron PARRY, lo hicieron asumiendo que los interrogadores no necesitaban saber que uno o más de los entrevistados eran computadoras durante el interrogatorio. ^{[ 77 ]} Como Ayse Saygin, Peter Swirski, ^{[ 78 ]} y otros han destacado, esto marca una gran diferencia en la implementación y el resultado de la prueba. ^{[ 7 ]} Un estudio experimental que analizó las violaciones de la máxima de Grice utilizando transcripciones de los concursos uno a uno (interrogador-interlocutor oculto) del Premio Loebner para IA entre 1994 y 1999, Ayse Saygin encontró diferencias significativas entre las respuestas de los participantes que sabían y no sabían que había computadoras involucradas. ^{[ 79 ]}

El poder y el atractivo de la prueba de Turing radican en su simplicidad. La filosofía de la mente , la psicología y la neurociencia moderna no han logrado proporcionar definiciones de "inteligencia" y "pensamiento" lo suficientemente precisas y generales como para aplicarlas a las máquinas. Sin tales definiciones, las preguntas centrales de la filosofía de la inteligencia artificial no pueden responderse. La prueba de Turing, aun siendo imperfecta, al menos proporciona algo que puede medirse. En este sentido, constituye un intento pragmático de responder a una difícil cuestión filosófica.

El formato de la prueba permite al interrogador plantear a la máquina una amplia variedad de tareas intelectuales. Turing escribió que «el método de preguntas y respuestas parece adecuado para introducir prácticamente cualquier campo del quehacer humano que deseemos incluir». ^{[ 80 ]} John Haugeland añade que «no basta con comprender las palabras; también hay que comprender el tema ». ^{[ 81 ]}

Para superar una prueba de Turing bien diseñada, la máquina debe usar lenguaje natural , razonar , tener conocimiento y aprender . La prueba puede ampliarse para incluir entrada de vídeo, así como una "escotilla" por la que se pueden introducir objetos: esto obligaría a la máquina a demostrar un uso hábil de sistemas de visión y robótica bien diseñados . En conjunto, estos representan casi todos los problemas principales que la investigación en inteligencia artificial pretende resolver. ^{[ 82 ]}

La prueba de Feigenbaum está diseñada para aprovechar la amplia gama de temas disponibles para una prueba de Turing. Es una versión limitada del juego de preguntas y respuestas de Turing que compara la máquina con las habilidades de expertos en campos específicos como la literatura o la química .

Como graduado con honores en matemáticas por la Universidad de Cambridge, cabría esperar que Turing propusiera una prueba de inteligencia artificial que requiriera conocimientos especializados en algún campo altamente técnico, anticipándose así a un enfoque más reciente del tema . Sin embargo, como ya se ha señalado, la prueba que describió en su influyente artículo de 1950 exige que el ordenador sea capaz de competir con éxito en un juego de mesa común, respondiendo a una serie de preguntas con la misma eficacia que un hombre cualquiera, haciéndose pasar de forma convincente por la concursante.

Dado que el dimorfismo sexual humano es uno de los temas más antiguos , en el escenario anterior se deduce implícitamente que las preguntas a responder no requerirán ni conocimientos fácticos especializados ni técnicas de procesamiento de información. El reto para la computadora consistirá, más bien, en demostrar empatía por el rol femenino y una sensibilidad estética característica; ambas cualidades se aprecian en este fragmento de diálogo imaginado por Turing:

Interrogador: ¿Podría X decirme la longitud de su cabello?

Concursante: Mi cabello es de corte escalonado, y los mechones más largos miden aproximadamente nueve pulgadas.

Cuando Turing introduce algún conocimiento especializado en uno de sus diálogos imaginarios, el tema no son las matemáticas ni la electrónica, sino la poesía:

Interrogador: En el primer verso de su soneto, que dice "¿Te compararé con un día de verano?", ¿no sería "un día de primavera" igual de apropiado o incluso mejor?

Testigo: No se podía escanear .

Interrogador: ¿Qué tal "un día de invierno"? Eso quedaría bien.

Testigo: Sí, pero nadie quiere que lo comparen con un día de invierno.

Turing demuestra así, una vez más, su interés en la empatía y la sensibilidad estética como componentes de una inteligencia artificial; y a la luz de una creciente conciencia de la amenaza que supone una IA descontrolada, ^{[ 83 ]} se ha sugerido ^{[ 84 ]} que este enfoque quizás represente una intuición crítica por parte de Turing, es decir, que la inteligencia emocional y estética desempeñará un papel clave en la creación de una " IA amigable ". Sin embargo, cabe señalar que cualquier inspiración que Turing pueda aportar en este sentido depende de la preservación de su visión original, lo que significa, además, que la promulgación de una "interpretación estándar" de la prueba de Turing —es decir, una que se centre únicamente en la inteligencia discursiva— debe considerarse con cierta cautela.

En la práctica, los resultados de la prueba pueden verse fácilmente sesgados no por la inteligencia de la computadora, sino por las actitudes, la habilidad o la ingenuidad de quien la realiza. Numerosos expertos en el campo, incluido el científico cognitivo Gary Marcus , insisten en que la prueba de Turing solo muestra lo fácil que es engañar a los humanos y no es un indicador de la inteligencia artificial. ^{[ 85 ]}

Turing no especifica las habilidades y conocimientos precisos que requiere el interrogador en su descripción de la prueba, pero sí utilizó el término "interrogador promedio": "[el] interrogador promedio no tendría más del 70 por ciento de probabilidad de hacer la identificación correcta después de cinco minutos de interrogatorio". ^{[ 74 ]}

Los programas de chatbot como ELIZA han engañado repetidamente a personas desprevenidas, haciéndoles creer que se comunican con seres humanos. En estos casos, los "interrogadores" ni siquiera son conscientes de la posibilidad de que estén interactuando con computadoras. Para parecer humano, la máquina no necesita tener inteligencia alguna; basta con una semejanza superficial con el comportamiento humano. ^{[ 52 ]}

En las primeras ediciones del Premio Loebner se utilizaron interrogadores poco sofisticados que eran fácilmente engañados por las máquinas. ^{[ 41 ]} Desde 2004, los organizadores del Premio Loebner han incluido a filósofos, informáticos y periodistas entre los interrogadores. Sin embargo, algunos de estos expertos han sido engañados por las máquinas. ^{[ 86 ]}

Una característica interesante de la prueba de Turing es la frecuencia del efecto cómplice , cuando los cómplices (personas sometidas a prueba) son identificados erróneamente por los interrogadores como máquinas. Se ha sugerido que lo que los interrogadores esperan como respuestas humanas no es necesariamente típico de los humanos. Como resultado, algunos individuos pueden ser categorizados como máquinas. Esto puede, por lo tanto, favorecer a una máquina competidora. Se instruye a los humanos para que "actúen como ellos mismos", pero a veces sus respuestas se parecen más a lo que el interrogador espera que diga una máquina. ^{[ 87 ]} Esto plantea la cuestión de cómo asegurar que los humanos estén motivados para "actuar como humanos".

La prueba de Turing no evalúa directamente si la computadora se comporta de manera inteligente. Solo evalúa si la computadora se comporta como un ser humano. Dado que el comportamiento humano y el comportamiento inteligente no son exactamente lo mismo, la prueba puede fallar al medir la inteligencia con precisión de dos maneras:

Algunos comportamientos humanos son poco inteligentes.

La prueba de Turing exige que la máquina sea capaz de ejecutar todos los comportamientos humanos, independientemente de si son inteligentes o no. Incluso evalúa comportamientos que podrían no considerarse inteligentes, como la susceptibilidad a los insultos, ^{[ 88 ]} la tentación de mentir o, simplemente, una alta frecuencia de errores tipográficos . Si una máquina no puede imitar estos comportamientos poco inteligentes con detalle, no supera la prueba.

Esta objeción fue planteada por The Economist en un artículo titulado « estupidez artificial » , publicado poco después de la primera edición del Premio Loebner en 1992. El artículo señalaba que la victoria del primer ganador del Loebner se debía, al menos en parte, a su capacidad para «imitar errores de escritura humanos». ^{[ 40 ]} El propio Turing había sugerido que los programas añadieran errores a su salida para ser mejores «jugadores» del juego. ^{[ 89 ]}

Algunos comportamientos inteligentes son inhumanos.

La prueba de Turing no evalúa comportamientos de alta inteligencia, como la capacidad de resolver problemas difíciles o generar ideas originales. De hecho, exige específicamente engaño por parte de la máquina: si la máquina es más inteligente que un ser humano, debe evitar deliberadamente parecer demasiado inteligente. Si resolviera un problema computacional prácticamente imposible de resolver para un humano, el interrogador sabría que el programa no es humano y la máquina no superaría la prueba.

Dado que no puede medir la inteligencia que va más allá de la capacidad humana, la prueba no puede utilizarse para construir o evaluar sistemas más inteligentes que los humanos. Por ello, se han propuesto varias alternativas de prueba que permitirían evaluar sistemas superinteligentes. ^{[ 90 ]}

La prueba de Turing se centra estrictamente en cómo actúa  el sujeto : el comportamiento externo de la máquina. En este sentido, adopta un enfoque conductista o funcionalista para el estudio de la mente. El ejemplo de ELIZA sugiere que una máquina que supere la prueba podría simular el comportamiento conversacional humano siguiendo una lista simple (pero extensa) de reglas mecánicas, sin pensar ni tener mente alguna. ^{[ 52 ]}

John Searle ha argumentado que el comportamiento externo no puede utilizarse para determinar si una máquina está pensando "realmente" o simplemente "simulando el pensamiento". ^{[ 33 ]} Su argumento de la habitación china pretende demostrar que, incluso si la prueba de Turing es una buena definición operativa de inteligencia, puede que no indique que la máquina tenga mente , conciencia o intencionalidad . (La intencionalidad es un término filosófico que se refiere a la capacidad de los pensamientos para "tratar sobre" algo).

Turing anticipó esta línea de crítica en su artículo original, ^{[ 91 ]} escribiendo:

No quiero dar la impresión de que creo que no hay misterio alguno en la conciencia. Existe, por ejemplo, cierta paradoja relacionada con cualquier intento de localizarla. Pero no creo que sea necesario resolver estos misterios antes de poder responder a la pregunta que nos ocupa en este artículo. ^{[ 92 ]}

Los investigadores de IA convencionales argumentan que intentar pasar la prueba de Turing es simplemente una distracción de investigaciones más fructíferas. ^{[ 42 ]} De hecho, la prueba de Turing no es un foco activo de muchos esfuerzos académicos o comerciales, como escriben Stuart Russell y Peter Norvig : "Los investigadores de IA han dedicado poca atención a pasar la prueba de Turing". ^{[ 93 ]} Hay varias razones.

En primer lugar, existen formas más sencillas de probar sus programas. La mayor parte de la investigación actual en campos relacionados con la IA se centra en objetivos modestos y específicos, como el reconocimiento de objetos o la logística . Para probar la inteligencia de los programas que resuelven estos problemas, los investigadores de IA simplemente les asignan la tarea directamente. Stuart Russell y Peter Norvig sugieren una analogía con la historia del vuelo : los aviones se prueban por su rendimiento en vuelo, no comparándolos con aves. « Los textos de ingeniería aeronáutica », escriben, «no definen el objetivo de su campo como “crear máquinas que vuelen tan exactamente como las palomas que puedan engañar a otras palomas ”» . ^{[ 93 ]}

En segundo lugar, crear simulaciones realistas de seres humanos es un problema complejo en sí mismo que no necesita resolverse para alcanzar los objetivos básicos de la investigación en IA. Los personajes humanos creíbles pueden resultar interesantes en una obra de arte, un videojuego o una interfaz de usuario sofisticada , pero no forman parte de la ciencia de la creación de máquinas inteligentes, es decir, máquinas que resuelven problemas mediante la inteligencia.

Turing no pretendía que su idea se utilizara para probar la inteligencia de los programas ; quería proporcionar un ejemplo claro y comprensible para ayudar en la discusión de la filosofía de la inteligencia artificial . ^{[ 94 ]} John McCarthy argumenta que no deberíamos sorprendernos de que una idea filosófica resulte inútil para aplicaciones prácticas. Observa que es improbable que la filosofía de la IA tenga más efecto en la práctica de la investigación en IA que el que la filosofía de la ciencia en general tiene en la práctica de la ciencia. ^{[ 95 ] [ 96 ]}

Otra objeción bien conocida al test de Turing se refiere a su enfoque exclusivo en el comportamiento lingüístico (es decir, es solo un experimento basado en el lenguaje, sin evaluar las demás facultades cognitivas). Esta limitación minimiza el papel de otras "habilidades inteligentes" específicas de la modalidad que el psicólogo Howard Gardner, en su " teoría de las inteligencias múltiples ", propone considerar (las habilidades verbales-lingüísticas son solo una de ellas). ^{[ 97 ]}

Un aspecto crucial de la prueba de Turing es que una máquina debe delatarse como tal mediante sus expresiones verbales. El interrogador debe entonces realizar la "identificación correcta" reconociendo correctamente a la máquina como tal. Sin embargo, si una máquina permanece en silencio durante una conversación, el interrogador no puede identificarla con precisión salvo mediante una suposición calculada. ^{[ 98 ]} Incluso considerar a un humano paralelo/oculto como parte de la prueba puede no ser útil, ya que los humanos a menudo pueden ser confundidos con máquinas. ^{[ 99 ]}

Al centrarse en imitar a los humanos, en lugar de potenciar o extender sus capacidades, la prueba de Turing corre el riesgo de orientar la investigación y la implementación hacia tecnologías que sustituyan a los humanos y, por lo tanto, reduzcan los salarios y los ingresos de los trabajadores. Al perder poder económico, estos trabajadores también pueden perder poder político, lo que les dificulta modificar la distribución de la riqueza y los ingresos. Esto puede atraparlos en un equilibrio perjudicial. Erik Brynjolfsson ha denominado a esto «la trampa de Turing» ^{[ 100 ]} y ha argumentado que actualmente existen incentivos excesivos para crear máquinas que imiten a los humanos en lugar de potenciarlos.

Una modificación de la prueba de Turing en la que se invierte el objetivo de uno o más roles entre máquinas y humanos se denomina prueba de Turing inversa. Un ejemplo se encuentra en la obra del psicoanalista Wilfred Bion , ^{[ 101 ]} quien estaba particularmente fascinado por la «tormenta» que resultaba del encuentro de una mente con otra. En su libro de 2000, ^{[ 78 ]} entre otros puntos originales con respecto a la prueba de Turing, el estudioso de la literatura Peter Swirski analizó en detalle la idea de lo que denominó la prueba de Swirski, esencialmente la prueba de Turing inversa. Señaló que supera la mayoría, si no todas, las objeciones estándar planteadas a la versión estándar.

Profundizando en esta idea, R. D. Hinshelwood ^{[ 102 ]} describió la mente como un «aparato de reconocimiento de la mente». El reto consistiría en que la computadora pudiera determinar si interactuaba con un ser humano o con otra computadora. Esto representa una extensión de la pregunta original que Turing intentó responder, pero que, quizás, ofrecería un estándar lo suficientemente alto como para definir una máquina capaz de «pensar» de una manera que solemos considerar característicamente humana.

CAPTCHA es una forma de prueba de Turing inversa. Antes de permitirle realizar alguna acción en un sitio web, se le presentan al usuario caracteres alfanuméricos en una imagen gráfica distorsionada y se le pide que los escriba. Esto tiene como objetivo evitar que los sistemas automatizados abusen del sitio. La razón es que no existe software lo suficientemente sofisticado como para leer y reproducir la imagen distorsionada con precisión (o no está disponible para el usuario promedio), por lo que cualquier sistema capaz de hacerlo probablemente sea humano.

Poco después de la creación de CAPTCHA, se empezó a desarrollar software que podía revertir CAPTCHA con cierta precisión analizando patrones en el motor generador. ^{[ 103 ]} En 2013, investigadores de Vicarious anunciaron que habían desarrollado un sistema para resolver desafíos CAPTCHA de Google , Yahoo! y PayPal hasta en un 90 % de los casos. ^{[ 104 ]} En 2014, ingenieros de Google demostraron un sistema que podía superar los desafíos CAPTCHA con una precisión del 99,8 %. ^{[ 105 ]} En 2015, Shuman Ghosemajumder , antiguo zar del fraude de clics de Google, afirmó que existían sitios web de ciberdelincuentes que superaban los desafíos CAPTCHA a cambio de dinero para facilitar diversas formas de fraude. ^{[ 106 ]}

Otra variante surge de la preocupación de que el procesamiento moderno del lenguaje natural demuestre ser altamente eficaz en la generación de texto a partir de un enorme corpus textual y que, eventualmente, pueda superar la prueba de Turing simplemente manipulando palabras y oraciones utilizadas en el entrenamiento inicial del modelo. Dado que el interrogador no comprende con precisión los datos de entrenamiento, el modelo podría simplemente devolver oraciones similares presentes en la ingente cantidad de datos de entrenamiento. Por esta razón, Arthur Schwaninger propone una variante de la prueba de Turing que permite distinguir entre sistemas capaces únicamente de usar el lenguaje y sistemas que lo comprenden . Propone una prueba en la que la máquina se enfrenta a preguntas filosóficas que no dependen de ningún conocimiento previo, pero que requieren autorreflexión para ser respondidas adecuadamente. ^{[ 107 ]}

Otra variante se describe como la prueba de Turing para expertos en la materia , donde la respuesta de una máquina no se puede distinguir de la de un experto en un campo determinado. Esta prueba también se conoce como "prueba de Feigenbaum" y fue propuesta por Edward Feigenbaum en un artículo de 2003. ^{[ 108 ]}

Robert French (1990) argumenta que un interrogador puede distinguir entre interlocutores humanos y no humanos formulando preguntas que revelan los procesos de bajo nivel (es decir, inconscientes) de la cognición humana, tal como los estudia la ciencia cognitiva . Dichas preguntas revelan los detalles precisos de la encarnación humana del pensamiento y pueden desenmascarar a una computadora a menos que experimente el mundo como lo hacen los humanos. ^{[ 109 ]}

^{La variante de la prueba de Turing denominada} "prueba de Turing total" ^{[ 2 ]} , propuesta por el científico cognitivo Stevan Harnad [ ^{110 ]} , añade dos requisitos adicionales a la prueba de Turing tradicional. El interrogador también puede evaluar las habilidades perceptivas del sujeto (lo que requiere visión artificial ) y su capacidad para manipular objetos (lo que requiere robótica ) ^{[ 111 ] .}

Paul Schweizer argumenta que el trabajo de Harnad es demasiado débil y lo extendió aún más con la Prueba de Turing Verdaderamente Total: ^{[ 112 ]}

Es fundamental señalar que la prueba TTTT no evalúa los sistemas cognitivos individuales . Su objetivo es, en cambio, evaluar las capacidades generales del tipo de arquitectura cognitiva a la que pertenecen determinados individuos.

Una carta publicada en Communications of the ACM ^{[ 113 ]} describe el concepto de generar una población de pacientes sintéticos y propone una variación de la prueba de Turing para evaluar la diferencia entre pacientes sintéticos y reales. La carta afirma: «En el contexto de la historia clínica electrónica (HCE), si bien un médico puede distinguir fácilmente entre pacientes generados sintéticamente y pacientes humanos reales, ¿podría una máquina tener la inteligencia para realizar dicha determinación por sí misma?». Además, la carta añade: «Antes de que las identidades sintéticas de pacientes se conviertan en un problema de salud pública, el mercado legítimo de la HCE podría beneficiarse de la aplicación de técnicas similares a la prueba de Turing para garantizar una mayor fiabilidad de los datos y un mayor valor diagnóstico. Por lo tanto, cualquier técnica nueva debe considerar la heterogeneidad de los pacientes y es probable que tenga una mayor complejidad que la que puede evaluar la prueba de ciencias de Allen de octavo grado».

La prueba de señal inteligente mínima fue propuesta por Chris McKinstry como "la máxima abstracción de la prueba de Turing" ^{[ 114 ]} , en la que solo se permiten respuestas binarias (verdadero/falso o sí/no), para centrarse únicamente en la capacidad de pensamiento. Elimina problemas de chat de texto como el sesgo antropomórfico y no requiere la emulación de comportamientos humanos no inteligentes , lo que permite sistemas que superan la inteligencia humana. Sin embargo, cada pregunta debe ser independiente, lo que la asemeja más a una prueba de CI que a un interrogatorio. Se utiliza habitualmente para recopilar datos estadísticos con los que se puede medir el rendimiento de los programas de inteligencia artificial ^{[ 115 ]} .

Los organizadores del Premio Hutter creen que comprimir texto en lenguaje natural es un problema difícil de IA, equivalente a superar la prueba de Turing. La prueba de compresión de datos tiene algunas ventajas sobre la mayoría de las versiones y variaciones de la prueba de Turing, entre las que se incluyen:

• Proporciona un único número que puede utilizarse directamente para comparar cuál de dos máquinas es "más inteligente".
• No requiere que la computadora mienta al juez.

Las principales desventajas de utilizar la compresión de datos como prueba son:

• No es posible realizar pruebas en humanos de esta manera.
• Se desconoce qué "puntuación" concreta en esta prueba —si es que existe alguna— equivale a superar una prueba de Turing a nivel humano.

Un enfoque relacionado con el premio de Hutter, que apareció mucho antes a finales de la década de 1990, consiste en la inclusión de problemas de compresión en una prueba de Turing extendida. ^{[ 116 ]} o mediante pruebas que se derivan completamente de la complejidad de Kolmogorov . ^{[ 117 ]} Hernández-Orallo y Dowe presentan otras pruebas relacionadas en esta línea. ^{[ 118 ]}

El CI algorítmico, o CIAI por sus siglas en inglés, es un intento de convertir la Medida Universal de Inteligencia teórica de Legg y Hutter (basada en la inferencia inductiva de Solomonoff ) en una prueba práctica y funcional de inteligencia artificial. ^{[ 119 ]}

Dos de las principales ventajas de algunas de estas pruebas son su aplicabilidad a inteligencias no humanas y la ausencia de necesidad de evaluadores humanos.

La prueba de Turing inspiró la prueba de Ebert propuesta en 2011 por el crítico de cine Roger Ebert, que evalúa si una voz sintetizada por computadora posee la habilidad suficiente en términos de entonación, inflexiones, ritmo, etc., para hacer reír a la gente. ^{[ 120 ]}

Aprovechando los grandes modelos de lenguaje , en 2023 la empresa de investigación AI21 Labs creó un experimento social en línea titulado "¿Humano o no?" ^{[ 121 ] [ 122 ]} Fue jugado más de 10 millones de veces por más de 2 millones de personas. ^{[ 123 ]} Es el experimento de estilo Turing más grande hasta la fecha. Los resultados mostraron que el 32% de las personas no podían distinguir entre humanos y máquinas. ^{[ 124 ] [ 125 ]}

La prueba de Lovelace recibe su nombre de Ada Lovelace , quien sugirió que "solo cuando las computadoras originan cosas se debería creer que tienen mente". ^{[ 126 ]}

En 2023, David Eagleman propuso que «un sistema con inteligencia significativa debería ser capaz de realizar descubrimientos científicos». ^{[ 127 ]} En el marco de Eagleman, el descubrimiento de Nivel 1 implica que la IA está reuniendo hechos que ya existen dispersos en la literatura (útiles, pero aún no con inteligencia significativa). El descubrimiento de Nivel 2, en cambio, describe el progreso científico que requiere una nueva conceptualización, simulación y verificación para llegar a marcos verdaderamente nuevos.

Otras pruebas de inteligencia artificial incluyen el desafío del esquema de Winograd , que evalúa la capacidad de una máquina para comprender el lenguaje natural. ^{[ 128 ]} También está el Desafío Científico de IA de Allen, que evalúa la capacidad de una máquina para responder preguntas de ciencias de octavo grado. ^{[ 129 ]} Otra prueba es la Prueba de Inteligencia Artificial General (IAG), que pregunta si una máquina puede realizar cualquier tarea intelectual que un humano pueda realizar. ^{[ 130 ]}

En 1990 se conmemoró el cuadragésimo aniversario de la primera publicación del artículo de Turing, "Computing Machinery and Intelligence", y resurgió el interés por la prueba. Ese año tuvieron lugar dos acontecimientos importantes: el primero fue el Coloquio Turing, celebrado en la Universidad de Sussex en abril, que reunió a académicos e investigadores de diversas disciplinas para debatir sobre la prueba de Turing en términos de su pasado, presente y futuro; el segundo fue la creación del concurso anual del Premio Loebner .

Blay Whitby enumera cuatro puntos de inflexión importantes en la historia de la prueba de Turing  : la publicación de "Computing Machinery and Intelligence" en 1950, el anuncio de ELIZA de Joseph Weizenbaum en 1966, la creación de PARRY por Kenneth Colby , que se describió por primera vez en 1972, y el Coloquio de Turing en 1990. ^{[ 131 ]}

Paralelamente al Premio Loebner de 2008 celebrado en la Universidad de Reading , ^{[ 132 ]} la Sociedad para el Estudio de la Inteligencia Artificial y la Simulación del Comportamiento (AISB) organizó un simposio de un día para debatir sobre la prueba de Turing, organizado por John Barnden , Mark Bishop , Huma Shah y Kevin Warwick . ^{[ 133 ]} Entre los ponentes figuraban la directora de la Royal Institution, la baronesa Susan Greenfield , Selmer Bringsjord , el biógrafo de Turing, Andrew Hodges , y el científico de la conciencia Owen Holland . No se llegó a un acuerdo sobre una prueba de Turing canónica, aunque Bringsjord expresó que un premio considerable propiciaría que la prueba de Turing se aprobara antes.