Aprendizaje por refuerzo a partir de la retroalimentación humana

El modelo de recompensa es una función que toma una cadena (fragmento de texto) como entrada y produce un único número, que es la "recompensa". ^{[ 40 ]}

Generalmente se inicializa con un modelo preentrenado, ya que esto le proporciona una comprensión del lenguaje y centra el entrenamiento explícitamente en el aprendizaje de las preferencias humanas. Además de utilizarse para inicializar el modelo de recompensa y la política de aprendizaje por refuerzo, el modelo también se utiliza para muestrear datos que serán comparados por los anotadores. ^{[ 17 ] [ 16 ]}

El modelo de recompensa se entrena reemplazando la capa final del modelo anterior con una capa de regresión inicializada aleatoriamente . Este cambio transforma el modelo, pasando de su tarea original de clasificación sobre su vocabulario a simplemente generar un número que corresponde a la puntuación de cualquier indicación y respuesta dadas. Este modelo se entrena con los datos de comparación de preferencias humanas recopilados previamente por el modelo supervisado. En particular, se entrena para minimizar la siguiente función de pérdida de entropía cruzada :$${\displaystyle {\mathcal {L}}(\theta )=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}[\log(\sigma (r_{\theta }(x,y_{w})-r_{\theta }(x,y_{l})))]=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}\log \left[{\frac {e^{r_{\theta }(x,y_{w})}}{e^{r_{\theta }(x,y_{w})}+e^{r_{\theta }(x,y_{l})}}}\right]}$$

dónde${\displaystyle K}$es el número de respuestas que los etiquetadores clasificaron,${\displaystyle r_{\theta }(x,y)}$es la salida del modelo de recompensa para prompt${\displaystyle x}$y finalización${\displaystyle y}$,${\displaystyle y_{w}}$es la finalización preferida sobre${\displaystyle y_{l}}$,${\displaystyle \sigma (x)}$denota la función sigmoide y${\displaystyle E[X]}$denota el valor esperado . ^{[ 17 ]} Esto puede pensarse como una forma de regresión logística , donde el modelo predice la probabilidad de que una respuesta${\displaystyle y_{w}}$se prefiere sobre${\displaystyle y_{l}}$.

Esta función de pérdida mide esencialmente la diferencia entre las predicciones del modelo de recompensa y las decisiones tomadas por los humanos. El objetivo es hacer que las predicciones del modelo se acerquen lo más posible a las preferencias de los humanos minimizando la diferencia medida por esta ecuación. En el caso de comparaciones por pares únicamente,${\displaystyle K=2}$, por lo tanto el factor de${\displaystyle 1/{\tbinom {K}{2}}=1}$. ^{[ 16 ]} En general, todos${\displaystyle {\tbinom {K}{2}}}$Las comparaciones de cada indicación se utilizan para el entrenamiento como un solo lote . ^{[ 17 ]}

Después del entrenamiento, las salidas del modelo se normalizan de manera que las completaciones de referencia tengan una puntuación media de 0. Es decir, ^{[ 16 ]}${\textstyle \sum _{y}r_{\theta }(x,y)=0}$ para cada par de consulta y referencia${\displaystyle (x,y)}$calculando la recompensa media en el conjunto de datos de entrenamiento y estableciéndola como el sesgo en el cabezal de recompensa.

El modelo de política es una función que toma una cadena como entrada y produce otra. Generalmente, en el modelado del lenguaje, la cadena de salida no se produce en una sola pasada hacia adelante, sino en múltiples pasadas hacia adelante, generadas de forma autorregresiva. De manera similar al modelo de recompensa, la política de retroalimentación humana también se inicializa a partir de un modelo preentrenado. ^{[ 16 ]}

La clave reside en comprender la generación del lenguaje como si fuera un juego que aprende el aprendizaje por refuerzo (RL). En RL, una política es una función que asigna un estado del juego a una acción del juego. En RLHF, el "juego" consiste en responder a indicaciones. Una indicación y todos los tokens generados previamente constituyen el estado del juego, y generar un nuevo token es una acción del juego. ^{[ 41 ]}

El primer paso en su entrenamiento es el ajuste fino supervisado (SFT). Este paso no requiere el modelo de recompensa. En cambio, el modelo preentrenado se entrena en un conjunto de datos.${\displaystyle D_{SFT}}$que contiene pares de pregunta-respuesta${\displaystyle (x,y)}$Luego, durante el SFT, el modelo se entrena para generar autorregresivamente la respuesta correspondiente.${\displaystyle y}$cuando se le da una indicación aleatoria${\displaystyle x}$El artículo original recomienda utilizar SFT solo durante una época, ya que un uso mayor provoca sobreajuste.

El conjunto de datos${\displaystyle D_{SFT}}$Por lo general, son redactados por profesionales contratados, quienes escriben tanto las preguntas como las respuestas.

El segundo paso utiliza un método de gradiente de política para el modelo de recompensa. Utiliza un conjunto de datos.${\displaystyle D_{RL}}$, que contiene indicaciones, pero no respuestas. Al igual que la mayoría de los métodos de gradiente de política, este algoritmo tiene un bucle externo y dos bucles internos:

• Inicializar la política${\displaystyle \pi _{\phi }^{RL}}$a${\displaystyle \pi ^{SFT}}$, el resultado de la política de SFT.
• Repetir durante muchos pasos.
  • Inicializa un nuevo conjunto de datos vacío.${\displaystyle D_{\pi _{\phi }^{RL}}}$.
  • Repetir durante muchos pasos
    • Muestra una pregunta aleatoria${\displaystyle x}$de${\displaystyle D_{RL}}$.
    • Generar una respuesta${\displaystyle y}$de la política${\displaystyle \pi _{\phi }^{RL}}$.
    • Calcular la señal de recompensa${\displaystyle r_{\theta }(x,y)}$del modelo de recompensa${\displaystyle r_{\theta }}$.
    • Añade el triple${\displaystyle (x,y,r_{\theta }(x,y))}$a${\displaystyle D_{\pi _{\phi }^{RL}}}$.
  • Actualizar${\displaystyle \phi }$mediante un método de gradiente de política para aumentar la función objetivo$${\displaystyle {\text{objective}}(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]}$$

Tenga en cuenta que${\displaystyle (x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}$es equivalente a${\displaystyle x\sim D_{RL},y\sim \pi _{\phi }^{\text{RL}}(\cdot |x)}$, lo que significa "muestrear una solicitud de${\displaystyle D_{RL}}$, luego, seleccione una respuesta de la política".

La función objetivo tiene dos partes. La primera parte es simplemente la recompensa esperada.${\displaystyle E[r]}$y es estándar para cualquier algoritmo RL. La segunda parte es un "término de penalización" que involucra la divergencia KL . La fuerza del término de penalización está determinada por el hiperparámetro.${\displaystyle \beta }$.

Este término KL funciona penalizando la divergencia KL (una medida de distancia estadística entre distribuciones) entre el modelo que se está ajustando y el modelo supervisado inicial. Al elegir un valor apropiado${\displaystyle \beta }$El entrenamiento puede equilibrar el aprendizaje a partir de nuevos datos y, al mismo tiempo, conservar información útil del modelo inicial, aumentando la generalización al evitar un ajuste demasiado preciso a los nuevos datos. Además de evitar que el nuevo modelo produzca resultados demasiado diferentes a los del modelo inicial, una segunda motivación para incluir el término KL es alentar al modelo a generar texto de alta entropía , para evitar que el modelo se reduzca a un pequeño número de respuestas predefinidas . ^{[ 16 ]}

En términos más sencillos, la función objetivo calcula qué tan bien se espera que las respuestas de la política se alineen con la retroalimentación humana. La política genera respuestas a las indicaciones, y cada respuesta se evalúa tanto en función de su coincidencia con las preferencias humanas (medida por el modelo de recompensa) como de su similitud con las respuestas que el modelo generaría de forma natural. El objetivo es equilibrar la mejora de la alineación con las preferencias humanas, al tiempo que se garantiza que las respuestas del modelo sigan siendo diversas y no se alejen demasiado de lo aprendido durante su entrenamiento inicial. Esto ayuda al modelo no solo a proporcionar respuestas que las personas consideren útiles o aceptables, sino también a mantener una comprensión amplia y evitar respuestas demasiado limitadas o repetitivas.

La función de política se suele entrenar mediante el algoritmo de optimización de políticas proximales (PPO). Es decir, el parámetro${\displaystyle \phi }$se entrena mediante ascenso de gradiente en la función sustituta recortada. ^{[ 17 ] [ 16 ]}

Clásicamente, el algoritmo PPO emplea una estimación de ventaja generalizada , lo que significa que hay un estimador de valor adicional.${\displaystyle V_{\xi _{t}}(x)}$que se actualiza simultáneamente con la política${\displaystyle \pi _{\phi _{t}}^{RL}}$durante la capacitación de PPO:${\displaystyle \pi _{\phi _{t}}^{RL},V_{\xi _{t}},\pi _{\phi _{t+1}}^{RL},V_{\xi _{t+1}},\dots }$. ^{[ 42 ]} El estimador de valor se utiliza solo durante el entrenamiento, y no fuera del entrenamiento.

El PPO utiliza el descenso de gradiente en la siguiente ventaja sustituta recortada :$${\displaystyle L_{\text{PPO}}(\phi ):=E_{x\sim D_{\text{RL}},y\sim \pi _{\phi _{t}}(y|x)}\left[\min \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}}A(x,y),\mathrm {clip} \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}},1-\epsilon ,1+\epsilon \right)A(x,y)\right)\right]}$$

donde el término de ventaja${\displaystyle A(x,y)}$se define como${\displaystyle r_{\theta }(x,y)-V_{\xi _{t}}(x)}$Es decir, la ventaja se calcula como la diferencia entre la recompensa (el retorno esperado) y la estimación del valor (el retorno esperado de la política). Esto se utiliza para entrenar la política mediante ascenso de gradiente , generalmente utilizando un optimizador de gradiente de momento estándar, como el optimizador Adam .

El artículo original inicializó el estimador de valor a partir del modelo de recompensa entrenado. ^{[ 16 ]} Dado que PPO es un algoritmo actor-crítico, el estimador de valor se actualiza simultáneamente con la política, minimizando el error TD al cuadrado, que en este caso es igual al término de ventaja al cuadrado:$${\displaystyle L_{\text{TD}}(\xi )=\mathbb {E} _{(x,y)\sim D{\pi _{\phi _{t}}^{\text{RL}}}}\left[\left(r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi _{t}}^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)-V_{\xi }(x)\right)^{2}\right]}$$que se minimiza mediante descenso de gradiente . Se pueden utilizar otros métodos además del error TD cuadrático. Consulte la página del algoritmo actor-crítico para obtener más detalles.

Un tercer término se suele añadir a la función objetivo para evitar que el modelo olvide catastróficamente. Por ejemplo, si el modelo solo se entrena en atención al cliente, podría olvidar conocimientos generales de geografía. Para evitar esto, el proceso RLHF incorpora el objetivo de modelado de lenguaje original. Es decir, algunos textos aleatorios${\displaystyle x}$se obtienen mediante muestreo del conjunto de datos de preentrenamiento original${\displaystyle D_{\text{pretrain}}}$y el modelo se entrena para maximizar la verosimilitud logarítmica del texto${\displaystyle \log(\pi _{\phi }^{RL}(x))}$La función objetivo final se escribe como:

$${\displaystyle L(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]}$$

dónde${\displaystyle \gamma }$controla la fuerza de este término de preentrenamiento. ^{[ 17 ]} Esta función objetivo combinada se llama PPO-ptx, donde "ptx" significa "Mezcla de gradientes de preentrenamiento". ^{[ 9 ]} Se utilizó por primera vez en el artículo de InstructGPT. ^{[ 17 ]}

En resumen, esta función objetivo define el método para ajustar la política de aprendizaje por refuerzo, combinando el objetivo de alinearse con la retroalimentación humana y mantener la comprensión del lenguaje original del modelo.

Así pues, escribiéndola de forma totalmente explícita, la función objetivo de PPO-ptx es:

$${\displaystyle {\begin{aligned}L_{\text{PPO-ptx}}(\phi )&:=E_{(x,y)\sim D_{\pi _{\phi _{t}}^{\text{RL}}}}\left[\min \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}}A(x,y),\mathrm {clip} \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}},1-\epsilon ,1+\epsilon \right)A(x,y)\right)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]\\&+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]\end{aligned}}}$$ que se optimiza mediante ascenso de gradiente .

De forma similar a RLHF, el aprendizaje por refuerzo a partir de la retroalimentación de la IA (RLAIF) se basa en el entrenamiento de un modelo de preferencias, con la diferencia de que la retroalimentación se genera automáticamente. ^{[ 48 ]} Esto se utiliza notablemente en la IA constitucional de Anthropic , donde la retroalimentación de la IA se basa en la conformidad con los principios de una constitución. ^{[ 49 ]}

Los algoritmos de alineación directa (DAA) se han propuesto como una nueva clase de algoritmos ^{[ 50 ] [ 51 ]} que buscan optimizar directamente grandes modelos de lenguaje (LLM) en datos de retroalimentación humana de manera supervisada en lugar de los métodos tradicionales de gradiente de política.

Estos algoritmos buscan alinear los modelos con la intención humana de forma más transparente, eliminando el paso intermedio de entrenar un modelo de recompensa independiente. En lugar de predecir primero las preferencias humanas y luego optimizar en función de esas predicciones, los métodos de alineación directa entrenan los modelos de principio a fin con resultados etiquetados o seleccionados por humanos. Esto reduce los posibles riesgos de desalineación derivados de objetivos indirectos o manipulación de recompensas.

Al optimizar directamente el comportamiento preferido por los humanos, estos enfoques a menudo permiten una mayor alineación con los valores humanos, una mejor interpretabilidad y procesos de entrenamiento más sencillos en comparación con RLHF.