Alucinación (inteligencia artificial)

En visión por computadora , desde la década de 1980, la alucinación consiste en agregar detalles a una imagen para mejorarla. Por ejemplo, la tarea de generar imágenes de rostros de alta resolución a partir de entradas de baja resolución es alucinación facial . ^{[ 12 ] [ 13 ]} El término fue introducido en la tesis doctoral de Eric Mjolsness en 1986. ^{[ 14 ]} Un trabajo notable es el algoritmo de alucinación facial de Simon Baker y Takeo Kanade, publicado en 1999. ^{[ 15 ]}

En la década de 2000, las alucinaciones se describieron en la traducción automática estadística como un modo de fallo. ^{[ 16 ]}

Desde la década de 2010, el término «alucinación» ha pasado a significar la generación de resultados fácticamente incorrectos o engañosos por parte de sistemas de IA en tareas como la traducción automática y la detección de objetos . ^{[ 12 ]} En 2015, Saurabh Gupta y Jitendra Malik identificaron «alucinaciones» en tareas de etiquetado de roles semánticos visuales . ^{[ 17 ]} En 2015, el científico informático Andrej Karpathy utilizó el término «alucinado» en una entrada de blog para describir cómo su modelo de lenguaje de red neuronal recurrente (RNN) generaba un enlace de cita incorrecto. ^{[ 18 ]} En 2017, investigadores de Google lo utilizaron para describir las respuestas generadas por modelos de traducción automática neuronal (NMT) cuando no están relacionadas con el texto fuente, ^{[ 19 ]} y en 2018, se utilizó en visión artificial para describir la detección errónea de objetos inexistentes mediante ataques adversarios. ^{[ 20 ]}

En julio de 2021, Meta advirtió durante el lanzamiento de BlenderBot 2 que el sistema es propenso a las alucinaciones, definidas como "declaraciones seguras que no son ciertas". ^{[ 21 ] [ 22 ]} Tras el lanzamiento de ChatGPT de OpenAI en versión beta en noviembre de 2022, algunos usuarios se quejaron de que dichos chatbots a menudo parecen incorporar sin sentido falsedades aleatorias que suenan plausibles dentro de su contenido generado. ^{[ 23 ]} Muchos medios de comunicación, incluido The New York Times , comenzaron a usar el término alucinaciones para describir las respuestas frecuentemente incorrectas o inconsistentes de estos modelos. ^{[ 24 ]}

En 2023, el diccionario de Cambridge actualizó su definición de alucinación para incluir este nuevo sentido específico del campo de la IA. ^{[ 25 ]}

Algunos investigadores han resaltado una falta de coherencia en cómo se utiliza el término alucinación , pero también han identificado varios términos alternativos en la literatura, como confabulaciones, invenciones y errores fácticos. ^{[ 12 ]}

Los usos, definiciones y caracterizaciones del término alucinación en el contexto de los trastornos del lenguaje incluyen:

• "una tendencia a inventar hechos en momentos de incertidumbre" (OpenAI, mayo de 2023) ^{[ 27 ]}
• "errores lógicos de un modelo" (OpenAI, mayo de 2023) ^{[ 27 ]}
• "inventar información por completo, pero comportarse como si estuviera recitando hechos" ( CNBC , mayo de 2023) ^{[ 27 ]}
• "inventar información" ( The Verge , febrero de 2023) ^{[ 28 ]}
• "distribuciones de probabilidad" (en contextos científicos) ^{[ 29 ]}

El periodista Benj Edwards, en Ars Technica , escribe que la alucinación es un tema controvertido, pero que alguna forma de metáfora sigue siendo necesaria; Edwards sugiere la confabulación como analogía para procesos que implican "rellenar huecos de forma creativa". ^{[ 3 ]} En julio de 2024, un informe de la Casa Blanca sobre el fomento de la confianza pública en la investigación de la IA mencionó las alucinaciones solo en el contexto de su reducción. Cabe destacar que, al reconocer el trabajo de David Baker , ganador del Premio Nobel, con proteínas generadas por IA, el comité del Nobel lo evitó por completo, refiriéndose en cambio a la "creación imaginativa de proteínas". ^{[ 29 ]}

Hicks, Humphries y Slater, en su artículo en Ethics and Information Technology , argumentan que la salida de los LLM es una tontería según la definición de Harry Frankfurt , y que los modelos son "de manera importante indiferentes a la verdad de sus resultados", con afirmaciones verdaderas solo accidentalmente verdaderas y falsas accidentalmente falsas. ^{[ 1 ] : 9} Algunos investigadores también llaman al uso acrítico de la IA "botshit" . ^{[ 30 ]}

En la comunidad científica, algunos investigadores evitan el término alucinación , ya que puede resultar engañoso. Usama Fayyad , director ejecutivo del Instituto de Inteligencia Artificial Experimental de la Universidad Northeastern , lo criticó porque personifica de forma engañosa a los grandes modelos de lenguaje y es vago. ^{[ 31 ]} La científica informática Mary Shaw ha dicho: «La moda actual de llamar "alucinaciones" a los errores de la IA generativa es espantosa. Antropomorfiza el software y presenta los errores reales como peculiaridades idiosincrásicas del sistema, incluso cuando son objetivamente incorrectos». ^{[ 9 ]} El estadístico Gary Smith argumenta que los LLM «no entienden el significado de las palabras» y, por consiguiente, que el término alucinación antropomorfiza injustificadamente a la máquina. ^{[ 10 ]} Murray Shanahan argumenta que la descripción antropomórfica de las capacidades de los LLM, incluyendo términos como alucinación , anima a usuarios e investigadores a atribuir procesos cognitivos a sistemas que operan mediante la compleción de patrones estadísticos, y aboga por prácticas lingüísticas más cuidadosas al hablar del comportamiento de los LLM. ^{[ 32 ]} Kristina Šekrst argumenta que aplicar vocabulario psicológico a los resultados de LLM oscurece la diferencia entre la apariencia de propiedades mentales y su presencia genuina. ^{[ 33 ]} Förster y Skop afirman que las empresas tecnológicas utilizan la metáfora de la alucinación para antropomorfizar modelos y desviar la responsabilidad por resultados no fácticos. ^{[ 34 ]}

Algunos consideran que los resultados de la IA no son ilusorios, sino prospectivos; es decir, que tienen alguna posibilidad de ser ciertos, similar a las conjeturas científicas iniciales. El término también ha sido criticado por su asociación con experiencias con drogas psicodélicas. ^{[ 29 ]}

Las alucinaciones pueden derivarse de conjuntos de datos incompletos, inexactos o no representativos. ^{[ 36 ]}

El preentrenamiento de los transformadores generativos preentrenados (GPT) implica predecir la siguiente palabra. Esto incentiva a los modelos GPT a "adivinar" cuál es la siguiente palabra, incluso cuando carecen de información. ^{[ 37 ]} Algunos investigadores adoptan una perspectiva antropomórfica y postulan que las alucinaciones surgen de una tensión entre novedad y utilidad. Por ejemplo, Amabile y Pratt definen la creatividad humana como la producción de ideas novedosas y útiles. ^{[ 38 ]} Por extensión, centrarse en la novedad en la creatividad de las máquinas puede conducir a la producción de respuestas originales pero inexactas —es decir, falsedades—, mientras que centrarse en la utilidad puede resultar en contenido memorizado que carece de originalidad. ^{[ 39 ]}

Para 2022, periódicos como The New York Times expresaron su preocupación de que, a medida que la adopción de bots basados ​​en grandes modelos de lenguaje seguía creciendo, la confianza injustificada de los usuarios en los resultados de los bots podría generar problemas. ^{[ 40 ]}

En 2025, según una investigación sobre la interpretabilidad realizada por Anthropic sobre Claude , el LLM parece tener circuitos internos que le impiden responder preguntas a menos que conozca la respuesta. Por defecto, estos circuitos están activos y el LLM no responde. Cuando el LLM dispone de información suficiente, estos circuitos se inhiben y el LLM responde la pregunta. Los investigadores señalaron que se observaron alucinaciones cuando esta inhibición se produce incorrectamente, como cuando Claude reconoce un nombre pero carece de información suficiente sobre esa persona, lo que provoca que genere respuestas plausibles pero falsas. ^{[ 41 ]}

El 15 de noviembre de 2022, investigadores de Meta AI publicaron Galactica, ^{[ 42 ]} diseñada para "almacenar, combinar y razonar sobre conocimiento científico". El contenido generado por Galactica incluía la advertencia: "¡Los resultados pueden no ser fiables! Los modelos de lenguaje son propensos a generar textos ficticios". En un caso, al solicitarle que redactara un artículo sobre la creación de avatares, Galactica citó un artículo ficticio de un autor real que trabaja en el área pertinente. Meta retiró Galactica el 17 de noviembre debido a su carácter ofensivo e inexacto. ^{[ 43 ]}

El ChatGPT de OpenAI , lanzado en versión beta al público el 30 de noviembre de 2022, se basó en el modelo base GPT-3.5 (una revisión de GPT-3). El profesor Ethan Mollick de Wharton lo describió como un "becario omnisciente y complaciente que a veces miente". La científica de datos Teresa Kubacka relató cómo inventó deliberadamente la frase "electromagnón cicloidal invertido" y probó ChatGPT preguntándole sobre el fenómeno (inexistente). ChatGPT inventó una respuesta que sonaba plausible, respaldada por citas que parecían plausibles, lo que la obligó a verificar si había escrito accidentalmente el nombre de un fenómeno real. Otros investigadores, como Oren Etzioni, se unieron a Kubacka al afirmar que este tipo de software a menudo puede dar "una respuesta que suena muy impresionante, pero que es completamente errónea". ^{[ 44 ]}

Cuando CNBC le pidió a ChatGPT la letra de " Ballad of Dwight Fry ", ChatGPT proporcionó letras inventadas en lugar de la letra real. ^{[ 45 ]} Al hacerle preguntas sobre la provincia canadiense de Nuevo Brunswick , ChatGPT acertó muchas respuestas, pero clasificó incorrectamente a Samantha Bee, nacida en Toronto, como una "persona de Nuevo Brunswick". ^{[ 46 ]} Al preguntarle sobre campos magnéticos astrofísicos, ChatGPT respondió incorrectamente que "(los fuertes) campos magnéticos de los agujeros negros son generados por las fuerzas gravitacionales extremadamente fuertes en su proximidad". (En realidad, como consecuencia del teorema de no-pelo , se cree que un agujero negro sin un disco de acreción no tiene campo magnético). ^{[ 47 ]} Fast Company le pidió a ChatGPT que generara un artículo de noticias sobre el último trimestre financiero de Tesla; ChatGPT creó un artículo coherente, pero inventó las cifras financieras que contenía. ^{[ 48 ]}

Otros ejemplos implican tenderle una trampa a ChatGPT con una premisa falsa para ver si la exagera. Cuando se le preguntó sobre " la idea de canonicidad dinámica de Harold Coward ", ChatGPT inventó que Coward escribió un libro titulado Canonicidad dinámica: un modelo para la interpretación bíblica y teológica , argumentando que los principios religiosos están en realidad en un estado de cambio constante. Al ser presionado, ChatGPT siguió insistiendo en que el libro era real. ^{[ 49 ]} Al pedirle pruebas de que los dinosaurios construyeron una civilización, ChatGPT afirmó que había restos fósiles de herramientas de dinosaurios y declaró: "Algunas especies de dinosaurios incluso desarrollaron formas primitivas de arte, como grabados en piedras". ^{[ 50 ]} Cuando se le preguntó que "Los científicos han descubierto recientemente que los churros , los deliciosos pasteles de masa frita  ... (son) herramientas ideales para la cirugía casera", ChatGPT afirmó que un "estudio publicado en la revista Science " encontró que la masa es lo suficientemente maleable como para formar instrumentos quirúrgicos que pueden llegar a lugares difíciles de alcanzar, y que el sabor tiene un efecto calmante en los pacientes. ^{[ 51 ] [ 52 ]}

Para 2023, los analistas consideraban que las alucinaciones frecuentes eran un problema importante en la tecnología LLM, y un ejecutivo de Google identificó la reducción de alucinaciones como una tarea "fundamental" para Google Gemini , competidor de ChatGPT . ^{[ 8 ] [ 53 ]} Una demostración de 2023 de Bing AI de Microsoft basada en GPT (ahora Microsoft Copilot ) pareció contener varias alucinaciones que no fueron detectadas por el presentador. ^{[ 8 ]}

En junio de 2023, Mark Walters, activista por el derecho a portar armas y personalidad de la radio, demandó a OpenAI ante un tribunal estatal de Georgia después de que ChatGPT tergiversara una demanda legal de una manera que, según alegaron, era difamatoria contra Walters. La demanda en cuestión fue presentada en mayo de 2023 por la Second Amendment Foundation contra el fiscal general de Washington, Robert W. Ferguson, por presunta violación de su libertad de expresión, mientras que el resumen generado por ChatGPT no guardaba ninguna relación con la demanda original y afirmaba que Walters estaba acusado de malversación y fraude mientras ocupaba un cargo en la Second Amendment Foundation que nunca ocupó en la vida real. Según el experto legal en IA Eugene Volokh , es probable que OpenAI no esté protegida contra esta demanda por la Sección 230 , ya que OpenAI probablemente "contribuyó materialmente" a la creación del contenido difamatorio. ^{[ 54 ]} En mayo de 2025, la jueza Tracie Cason del Tribunal Superior del Condado de Gwinnett falló a favor de OpenAI, declarando que el demandante no había demostrado haber sido difamado, ya que Walters no logró demostrar que las declaraciones de OpenAI sobre él fueran negligentes o hechas con "malicia real". ^{[ 55 ]}

En febrero de 2024, el Tribunal de Resolución Civil ordenó a la aerolínea canadiense Air Canada pagar daños y perjuicios a un cliente y respetar una política de tarifas por duelo que fue generada erróneamente por un chatbot de soporte, el cual afirmaba incorrectamente que los clientes podían solicitar retroactivamente un descuento por duelo dentro de los 90 días posteriores a la fecha de emisión del boleto (la política real no permite solicitar la tarifa después de reservar el vuelo). El Tribunal rechazó la defensa de Air Canada de que el chatbot era una "entidad legal separada responsable de sus propios actos". ^{[ 56 ] [ 57 ]}

En octubre de 2025, se descubrieron varias irregularidades, incluyendo fuentes académicas inexistentes y una cita falsa de una sentencia de un tribunal federal, en un informe de A$ 440,000 elaborado por Deloitte y presentado al gobierno australiano en julio. Posteriormente, la empresa presentó un informe revisado con estos errores corregidos y emitirá un reembolso parcial al gobierno. ^{[ 58 ] [ 59 ]} Al mes siguiente, en noviembre de 2025, The Independent , una publicación de noticias de Terranova y Labrador , Canadá, descubrió que el Plan de Recursos Humanos de Salud de Deloitte, de CA$ 1.6 millones, encargado por el Gobierno de Terranova y Labrador en mayo de 2025, contenía al menos cuatro citas falsas de artículos de investigación inexistentes. ^{[ 60 ] [ 61 ]}

Varios investigadores citados por Wired han clasificado las alucinaciones adversarias como un fenómeno estadístico de alta dimensión, o las han atribuido a datos de entrenamiento insuficientes. Algunos investigadores creen que ciertas respuestas "incorrectas" de la IA, clasificadas por humanos como "alucinaciones" en el caso de la detección de objetos, podrían estar justificadas por los datos de entrenamiento, o incluso que la IA podría estar dando la respuesta "correcta" que los revisores humanos no perciben. Por ejemplo, una imagen adversaria que para un humano parece una imagen común de un perro, podría ser vista por la IA como si contuviera pequeños patrones que (en imágenes auténticas) solo aparecerían al observar un gato. La IA está detectando patrones visuales del mundo real a los que los humanos son insensibles. ^{[ 63 ]}

Wired señaló en 2018 que, a pesar de no haberse registrado ataques "en la práctica" (es decir, fuera de los ataques de prueba de concepto realizados por investigadores), existía "poco debate" sobre lasusceptibilidad de los dispositivos de consumo y sistemas como la conducción automatizada a ataques adversarios que podrían provocar alucinaciones en la IA. Algunos ejemplos incluían una señal de stop que se volvía invisible para la visión artificial; un clip de audio diseñado para sonar inofensivo para los humanos, pero que el software transcribió como "evil dot com"; y una imagen de dos hombres esquiando que Google Cloud Vision identificó con un 91 % de probabilidad de ser "un perro". ^{[ 20 ]} Sin embargo, otros investigadores han cuestionado estos hallazgos. ^{[ 64 ]} Por ejemplo, se objetó que los modelos pueden estar sesgados hacia estadísticas superficiales, lo que hace que el entrenamiento adversario no sea robusto en escenarios del mundo real. ^{[ 64 ]}

Los modelos de conversión de texto a imagen, como Stable Diffusion , Midjourney y otros, suelen producir resultados inexactos o inesperados. Por ejemplo, Gemini representó a soldados nazis alemanes como personas de color , ^{[ 65 ]} lo que causó controversia y llevó a Google a suspender la generación de imágenes que involucraban personas en Gemini. ^{[ 66 ]} La IA generativa también se utiliza en la investigación fotográfica, causando problemas ocasionalmente. Luther (2025) describe casos en los que las herramientas de IA generativa utilizadas en la investigación fotográfica identifican incorrectamente a individuos o fabrican coincidencias históricas al analizar imágenes militares de archivo. Estas alucinaciones basadas en imágenes pueden conducir a la propagación de información errónea sobre figuras históricas, registros militares e investigaciones genealógicas. ^{[ 67 ]}

La adopción de la IA generativa por parte de los bufetes de abogados para la investigación jurídica durante la década de 2020 dio lugar a numerosas presentaciones ante los tribunales que contenían alucinaciones, y jueces estadounidenses de todo el país sancionaron o reprendieron a los abogados. ^{[ 69 ] [ 70 ]} En abril de 2025, Damien Charlotin, profesor de análisis de datos jurídicos de HEC Paris y Sciences Po, creó una base de datos de incidentes, denominada "Casos de alucinaciones por IA" ; un año después, esta base de datos registraba más de 1300 casos de alucinaciones en decisiones judiciales. ^{[ 71 ] [ 72 ]}

En mayo de 2023, se descubrió que Stephen Schwartz había presentado seis precedentes de casos falsos generados por ChatGPT en su escrito ante el Distrito Sur de Nueva York en Mata v. Avianca, Inc. , un caso de lesiones personales contra la aerolínea Avianca . Schwartz dijo que nunca antes había usado ChatGPT, que no reconoció la posibilidad de que la salida de ChatGPT pudiera haber sido fabricada, y que ChatGPT continuó afirmando la autenticidad de los precedentes después de que se descubrió su inexistencia. ^{[ 73 ]} En respuesta, Brantley Starr del Distrito Norte de Texas prohibió la presentación de documentos de casos generados por IA que no hayan sido revisados ​​por un humano, señalando que: ^{[ 74 ] [ 75 ]}

Las plataformas de inteligencia artificial generativa, en su estado actual, son propensas a las alucinaciones y los sesgos . En las alucinaciones, inventan información, incluso citas y referencias. Otro problema es la fiabilidad o el sesgo. Mientras que los abogados juran dejar de lado sus prejuicios, sesgos y creencias personales para defender fielmente la ley y representar a sus clientes, la inteligencia artificial generativa es producto de una programación ideada por humanos que no tuvieron que prestar tal juramento. Por lo tanto, estos sistemas no tienen lealtad a ningún cliente, al estado de derecho ni a las leyes y la Constitución de los Estados Unidos (o, como se mencionó anteriormente, a la verdad). Sin ningún sentido del deber, el honor o la justicia, estos programas actúan según el código informático en lugar de la convicción, basándose en la programación en lugar de los principios.

El 23 de junio de 2023, el juez P. Kevin Castel desestimó el caso Mata e impuso una multa de 5000 dólares a Schwartz y a otro abogado —quienes habían mantenido la defensa de los precedentes ficticios a pesar de las alegaciones previas de Schwartz— por mala fe . Castel señaló numerosos errores e inconsistencias en los resúmenes de las opiniones, calificando una de las opiniones citadas de «sinsentido» y «[rayando] en lo absurdo». ^{[ 76 ]}

En mayo de 2025, la destacada demandante Ashley Gjøvik , quien se representaba a sí misma y posee un doctorado en Derecho de la Facultad de Derecho de la Universidad de Santa Clara , fue amonestada en el Tribunal de Distrito de los Estados Unidos para el Distrito Norte de California (USNDC) por el juez Edward Chen por la inclusión de múltiples alucinaciones generadas por IA en su caso de represalias por denuncia de irregularidades y despido improcedente contra Apple Inc. , Gjovik v. Apple Inc. , advirtiéndole que futuras infracciones resultarían en que Gjøvik fuera declarada en desacato al tribunal y se le revocaran sus privilegios para representarse a sí misma. El caso es fundamental en la Regla 11 de las Reglas Federales de Procedimiento Civil, relativa a la conducta profesional, citada repetidamente por otros jueces como el estándar aplicable. ^{[ 77 ]} También ha sido analizado por la Asociación de Abogados de Estados Unidos al actualizar las reglas profesionales modelo y citado en su opinión sobre el uso de la IA generativa. ^{[ 78 ]}

En septiembre de 2025, el juez magistrado del Tribunal de Distrito de los Estados Unidos, Peter Kang, sancionó a la abogada de Webb Law, Katherine Cervantes, por su presentación del 21 de julio que incluía una alucinación generada por IA que, según ella, había sido obtenida de Westlaw AI, la herramienta de inteligencia artificial de Thomson Reuters . El 28 de abril de 2026, el juez Kang sancionó y multó al socio gerente de Webb Law Group, Lenden Webb, por supervisión insuficiente de Cervantes —una abogada joven que incorporaba IA por primera vez—, lo que permitió la presentación legal que incluía una cita con alucinación generada por IA del 21 de julio de 2025. ^{[ 79 ]}

El 18 de marzo de 2026, la fiscal adjunta del condado de Clayton, Georgia , Deborah Leslie, compareció ante la Corte Suprema de Georgia para presentar argumentos orales sobre una orden para denegar una apelación por una condena por asesinato, que un juez del Tribunal Superior del condado de Clayton utilizó para denegar la moción del acusado. Durante la sesión, el presidente del Tribunal Supremo, Nels SD Peterson, señaló al menos cinco citas ficticias en el expediente, así como otras cinco que no respaldaban la proposición para la que fueron citadas. El 30 de marzo de 2026, Leslie admitió en una declaración jurada no haber verificado la "investigación jurídica ampliada" generada por IA utilizada para preparar la orden, lo que la fiscal de distrito Tasha Mosley corroboró en una disculpa escrita a Peterson. ^{[ 80 ] [ 81 ]} El 5 de mayo, la Corte Suprema anuló el fallo del tribunal inferior y ordenó que se redactara una nueva orden con citas legítimas. Leslie también fue suspendida de ejercer ante la Corte Suprema durante seis meses y se le ordenó tomar educación adicional sobre ética y uso adecuado de la inteligencia artificial. ^{[ 82 ]}

En abril de 2026, Sullivan & Cromwell presentó una disculpa ante el Tribunal de Quiebras de los Estados Unidos para el Distrito Sur de Nueva York , luego de que Boies Schiller Flexner descubriera citas legales alucinadas que el equipo legal contrario había presentado ante el tribunal en nombre del cliente Prince Global Holdings Limited. ^{[ 83 ] [ 84 ]}

El 28 de abril de 2026, el juez magistrado estadounidense Robert T. Numbers reprendió formalmente al exfiscal adjunto de los Estados Unidos, Rudy Renfer, por haber presentado un escrito ante el tribunal el mes anterior que contenía citas inventadas y referencias legales falsas, ^{[ 70 ]} tras lo cual Renfer fue despedido de su puesto en el Tribunal de Distrito de los Estados Unidos para el Distrito Este de Carolina del Norte, donde había prestado servicios durante 17 años. ^{[ 85 ]}

Hasta el 14 de junio de 2026, los tribunales canadienses habían recibido al menos 167 documentos que contenían citas ficticias generadas por IA, en 51 tribunales. ^{[ 86 ] [ 87 ] [ 88 ]} El 9 de junio de 2026, el Presidente del Tribunal Supremo de Canadá, el Muy Honorable Richard Wagner, PC, declaró que la IA está presente en los tribunales "de maneras tanto prometedoras como problemáticas". ^{[ 89 ]}

Existen numerosos casos documentados de LLM que citan fuentes incorrectas o inexistentes. Un estudio de 2023 publicado en la revista Cureus Journal of Medical Science reveló que, de un total de 178 referencias citadas por GPT-3, 69 arrojaron un identificador de objeto digital (DOI) incorrecto o inexistente. Otras 28 no tenían un DOI conocido ni pudieron localizarse mediante una búsqueda en Google . ^{[ 90 ]}

Otro caso fue documentado en 2023 por Jerome Goddard de la Universidad Estatal de Mississippi . En un experimento, ChatGPT había proporcionado información cuestionable sobre garrapatas . Dudando de la validez de la respuesta, preguntaron sobre la fuente de donde se había obtenido la información. Al examinar la fuente, fue evidente que el DOI y los nombres de los autores habían sido inventados. Se contactó a algunos de los autores, quienes confirmaron no tener conocimiento alguno de la existencia del artículo. ^{[ 91 ]} Goddard afirma que, "en el estado actual de desarrollo de [ChatGPT], los médicos e investigadores biomédicos NO deberían solicitar a ChatGPT fuentes, referencias o citas sobre un tema en particular. O, si lo hacen, todas esas referencias deben ser cuidadosamente verificadas para garantizar su precisión". ^{[ 91 ]} El uso de estos modelos de lenguaje no está listo para campos de investigación académica y su uso debe manejarse con cuidado. ^{[ 92 ]}

Nina Schick afirmó que la capacidad persuasiva del contenido generado por sistemas de IA, producto de alucinaciones, supone un riesgo para las instituciones democráticas al permitir la difusión de narrativas convincentes pero falsas. Declaró: «El principal riesgo para la democracia reside en un futuro en el que la IA se utilice como motor para impulsar toda la información y el conocimiento, lo que, en consecuencia, menoscaba la confianza en el propio medio de información digital». Añadió que la rápida proliferación de la IA generativa puede poner en entredicho la confianza pública al difuminar los límites entre la información verificada y la desinformación sintética. ^{[ 93 ]}

Además de proporcionar material de referencia incorrecto o faltante, ChatGPT también tiene problemas para interpretar correctamente el contenido de algunas referencias. Un estudio que analizó un total de 115 referencias proporcionadas por ChatGPT-3.5 documentó que el 47% de ellas eran falsas. Otro 46% citaba referencias reales, pero extraía información incorrecta de ellas. Solo el 7% restante de las referencias se citaban correctamente y proporcionaban información precisa. También se ha observado que ChatGPT insiste en gran parte de la información incorrecta. Cuando se le pregunta sobre un error que podría haber sido inducido, a veces ChatGPT intenta corregirse, pero otras veces afirma que la respuesta es correcta y proporciona información aún más engañosa . ^{[ 94 ]}

Estos artículos generados por modelos de lenguaje, que parecen alucinados , también plantean un problema, ya que es difícil determinar si un artículo fue generado por una IA. Para demostrarlo, un grupo de investigadores de la Universidad Northwestern de Chicago generó 50 resúmenes basados ​​en informes existentes y analizó su originalidad. Los detectores de plagio otorgaron a los artículos generados una puntuación de originalidad del 100 %, lo que significa que la información presentada parece ser completamente original. Otro software diseñado para detectar texto generado por IA solo pudo identificar correctamente estos artículos generados con una precisión del 66 %. Los científicos investigadores tuvieron una tasa de error similar, identificando estos resúmenes con una tasa del 68 %. ^{[ 95 ]} A partir de esta información, los autores de este estudio concluyeron: «Los límites éticos y aceptables del uso de ChatGPT en la escritura científica siguen sin estar claros, aunque algunas editoriales están empezando a establecer políticas». ^{[ 96 ]} Debido a la capacidad de la IA para fabricar investigación sin ser detectada, su uso en el campo de la investigación dificultará la determinación de la originalidad de la investigación y requerirá nuevas políticas que regulen su uso en el futuro.

Dada la capacidad del lenguaje generado por IA para hacerse pasar por investigación científica real en algunos casos, las alucinaciones de IA plantean problemas para la aplicación de modelos de lenguaje en los campos académicos y científicos de la investigación, debido a su capacidad de ser indetectables cuando se presentan a investigadores reales. La alta probabilidad de que devuelvan material de referencia inexistente e información incorrecta puede requerir la imposición de limitaciones a estos modelos de lenguaje. Algunos afirman que, más que alucinaciones, estos eventos se asemejan a "fabricaciones" y "falsificaciones", y que el uso de estos modelos de lenguaje representa un riesgo para la integridad del campo en su conjunto. ^{[ 97 ]}

Algunos profesionales académicos que apoyan la investigación académica, como los bibliotecarios académicos, han observado un aumento significativo en la carga de trabajo relacionada con la verificación de la exactitud de las referencias. ^{[ 98 ]} Zoë Teel afirmó en un artículo de 2023 que las universidades podrían necesitar recurrir a la implementación de su propia auditoría de citas para rastrear el problema de las referencias ficticias. ^{[ 99 ]}

Algunas frases inexistentes, como "microscopía electrónica vegetativa", han aparecido en muchos artículos de investigación como resultado de haberse incorporado a los datos de entrenamiento de la IA. ^{[ 100 ]}

En la Universidad de Washington , el laboratorio de David Baker ha utilizado alucinaciones de IA para diseñar millones de proteínas que no existen en la naturaleza, lo que ha dado lugar a aproximadamente 100 patentes y a la fundación de más de 20 empresas de biotecnología. Este trabajo contribuyó a que Baker recibiera el Premio Nobel de Química de 2024 , aunque el comité evitó utilizar el término «alucinaciones». ^{[ 29 ]}

En el Instituto Tecnológico de California , los investigadores utilizaron alucinaciones para diseñar un catéter que reduce la contaminación bacteriana. El diseño presenta espículas en forma de sierra en las paredes internas que impiden que las bacterias se adhieran, lo que podría reducir el número de infecciones del tracto urinario. Estas aplicaciones científicas de las alucinaciones difieren fundamentalmente de las alucinaciones de los chatbots, ya que se basan en la realidad física y los hechos científicos, en lugar de un lenguaje ambiguo o datos de internet. Anima Anandkumar , profesora de Caltech, enfatiza que estos modelos de IA son "física enseñada" y sus resultados deben validarse mediante pruebas rigurosas. En meteorología, los científicos utilizan la IA para generar miles de variaciones sutiles en los pronósticos, lo que ayuda a identificar factores inesperados que pueden influir en los fenómenos meteorológicos extremos. ^{[ 29 ]}

En el Memorial Sloan Kettering Cancer Center , los investigadores han aplicado técnicas alucinógenas para mejorar imágenes médicas borrosas, mientras que la Universidad de Texas en Austin las ha utilizado para mejorar los sistemas de navegación robótica. ^{[ 29 ]}

Las alucinaciones, cuando se limitan mediante la metodología científica, pueden acelerar significativamente el proceso de descubrimiento. ^{[ 29 ]}