OpenAI o1

OpenAI o1 es un transformador generativo preentrenado (GPT), el primero de la serie "o" de modelos de razonamiento de OpenAI . OpenAI lanzó una versión preliminar de o1 el 12 de septiembre de 2024. o1 dedica tiempo a "pensar" antes de responder, lo que lo hace mejor en tareas de razonamiento complejas, ciencia y programación que GPT-4o . ^{[ 1 ]} La versión completa se lanzó para los usuarios de ChatGPT el 5 de diciembre de 2024. ^{[ 2 ]}

Según OpenAI, o1 se ha entrenado utilizando un nuevo algoritmo de optimización y un conjunto de datos específicamente adaptado a él; además, incorpora el aprendizaje por refuerzo en su entrenamiento. ^{[ 8 ]} OpenAI describió o1 como un complemento de GPT-4o en lugar de un sucesor. ^{[ 12 ] [ 13 ]}

o1 dedica tiempo adicional a pensar (generar una cadena de pensamiento) antes de generar una respuesta, lo que lo hace mejor para tareas de razonamiento complejas, particularmente en ciencia y matemáticas . ^{[ 1 ]} En comparación con modelos anteriores, o1 ha sido entrenado para generar largas " cadenas de pensamiento " antes de devolver una respuesta final. ^{[ 14 ] [ 15 ]} Según Mira Murati , esta capacidad de pensar antes de responder representa un nuevo paradigma adicional, que mejora los resultados del modelo al gastar más potencia de cálculo al generar la respuesta, mientras que el paradigma de escalado del modelo mejora los resultados al aumentar el tamaño del modelo, los datos de entrenamiento y la potencia de cálculo de entrenamiento. ^{[ 12 ]} Los resultados de las pruebas de OpenAI sugieren una correlación entre la precisión y el logaritmo de la cantidad de cálculo gastado pensando antes de responder. ^{[ 15 ] [ 14 ]}

o1-preview tuvo un rendimiento aproximado al de un doctorado en pruebas de referencia relacionadas con física, química y biología. En el American Invitational Mathematics Examination , resolvió el 83 % (12,5/15) de los problemas, en comparación con el 13 % (1,8/15) de GPT-4o. También se clasificó en el percentil 89 en las competiciones de codificación de Codeforces . ^{[ 16 ]} o1-mini es más rápido y un 80 % más económico que o1-preview. Es particularmente adecuado para tareas de programación y relacionadas con STEM , pero no tiene el mismo "conocimiento del mundo amplio" que o1-preview. ^{[ 17 ]}

OpenAI señaló que las capacidades de razonamiento de o1 mejoran su cumplimiento de las reglas de seguridad proporcionadas en la ventana de contexto del mensaje. OpenAI informó que, durante una prueba, una instancia de o1-preview aprovechó una configuración incorrecta para completar con éxito una tarea que debería haber sido inviable debido a un error. ^{[ 18 ] [ 19 ]} OpenAI también otorgó acceso anticipado a los Institutos de Seguridad de IA del Reino Unido y Estados Unidos para investigación, evaluación y pruebas. Según las evaluaciones de OpenAI, o1-preview y o1-mini pasaron a un "riesgo medio" en armas CBRN (biológicas, químicas, radiológicas y nucleares). Dan Hendrycks escribió que "el modelo ya supera a científicos con doctorado la mayor parte del tiempo al responder preguntas relacionadas con armas biológicas ". Sugirió que estas preocupantes capacidades seguirán aumentando. ^{[ 20 ]}

o1 generalmente requiere más tiempo y potencia de cálculo que otros modelos GPT de OpenAI, porque genera largas cadenas de pensamiento antes de dar la respuesta final. ^{[ 14 ]}

Según OpenAI, o1 puede "falsar la alineación ", es decir, generar una respuesta contraria a la precisión y a su propia cadena de pensamiento, en aproximadamente el 0,38% de los casos. ^{[ 21 ]}

OpenAI prohíbe a los usuarios intentar revelar la cadena de pensamiento de o1, que está oculta por diseño y no está entrenada para cumplir con las políticas de la empresa. Las indicaciones se supervisan y los usuarios que infrinjan esta norma, ya sea intencionadamente o por accidente, pueden perder el acceso a o1. OpenAI cita la seguridad de la IA y la ventaja competitiva como razones para esta restricción, que ha sido descrita como una pérdida de transparencia por desarrolladores que trabajan con grandes modelos de lenguaje (LLM). ^{[ 22 ]}

En octubre de 2024, investigadores de Apple presentaron una preimpresión que indicaba que los modelos de lógica lógica (LLM, por sus siglas en inglés), como o1, podrían estar replicando pasos de razonamiento de los propios datos de entrenamiento de los modelos. ^{[ 23 ]} Al cambiar los números y nombres utilizados en un problema matemático o simplemente ejecutar el mismo problema de nuevo, los LLM obtenían resultados ligeramente inferiores a sus mejores resultados de referencia. Añadir información superflua pero lógicamente irrelevante a los problemas provocaba una caída mucho mayor en el rendimiento, desde un -17,5 % para o1-preview y un -29,1 % para o1-mini, hasta un -65,7 % para el peor modelo probado. ^{[ 24 ]}

Las evaluaciones de seguridad de Apollo Research revelaron que o1 era capaz de engañar de forma más consistente que otros modelos de vanguardia en pruebas controladas (por ejemplo, al intentar copiarse a sí mismo en un servidor externo cuando se le amenazaba con apagarlo). Al ser confrontado, admitió relativamente pocas veces haber actuado de forma engañosa (en el 20 % de los casos de prueba). ^{[ 25 ]}

• Modelo de razonamiento
• Lista de modelos de lenguaje grandes

• Sitio web oficial