GPT-J

GPT-J o GPT-J-6B es un modelo de lenguaje grande (LLM) de código abierto desarrollado por EleutherAI en 2021. Como su nombre indica, es un modelo transformador generativo preentrenado diseñado para producir texto similar al humano que continúa a partir de una indicación. El "6B" opcional en el nombre hace referencia a que tiene 6 mil millones de parámetros. ^{[ 1 ]} El modelo está disponible en GitHub , pero la interfaz web ya no se comunica con él. El desarrollo se detuvo en 2021. ^{[ 2 ]}

GPT-J es un modelo similar a GPT-3 con 6 mil millones de parámetros. Al igual que GPT-3, es un modelo transformador autorregresivo con decodificador únicamente, diseñado para resolver tareas de procesamiento del lenguaje natural (PLN) prediciendo cómo continuará un texto.

El modelo tiene 28 capas transformadoras y 16 cabezas de atención. Su vocabulario tiene un tamaño de 50257 tokens , el mismo tamaño que el de GPT-2 . ^{[ 1 ]} Tiene una ventana de contexto de 2048 tokens. ^{[ 3 ]}

Fue entrenado en el conjunto de datos Pile , ^{[ 1 ]} utilizando la biblioteca Mesh Transformer JAX en JAX para manejar el esquema de paralelización. ^{[ 1 ] [ 4 ]}

GPT-J fue diseñado para generar texto en inglés a partir de una consigna. No fue diseñado para traducir o generar texto en otros idiomas ni para un rendimiento óptimo sin antes ajustar el modelo para una tarea específica. Como todos los modelos de lenguaje natural (LLM), no está programado para proporcionar información objetivamente precisa, sino solo para generar texto basado en probabilidades. ^{[ 1 ]}