Comprender (aprendizaje automático)

En el aprendizaje automático , el grokking , o generalización retardada , es un fenómeno observado en algunos entornos donde un modelo pasa abruptamente del sobreajuste (que funciona bien solo en los datos de entrenamiento ) a la generalización (que funciona bien tanto en los datos de entrenamiento como en los de prueba), después de muchas iteraciones de entrenamiento con poca o ninguna mejora en los datos reservados. ^{[ 2 ] : 2} Esto contrasta con lo que se observa típicamente en el aprendizaje automático, donde la generalización ocurre gradualmente junto con una mejora en el rendimiento en los datos de entrenamiento. ^{[ 3 ] [ 4 ]}

El término "grokking" fue introducido por la investigadora de OpenAI, Alethea Power, y sus colegas en el artículo de enero de 2022 "Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets". ^{[ 2 ]} Se deriva de la palabra " grok" , acuñada por Robert Heinlein en su novela " Forastero en tierra extraña" . ^{[ 1 ]} En la investigación de aprendizaje automático, "grokking" no se usa como sinónimo de "generalización"; más bien, designa un fenómeno de entrenamiento de generalización retardada que a veces se observa, en el que el rendimiento del entrenamiento y el rendimiento de prueba no mejoran simultáneamente, y en el que el rendimiento de prueba aumenta abruptamente después de un largo período en el que el rendimiento de prueba ha alcanzado lo que parece ser un valor máximo. Los autores también analizan el "tiempo de grokking", la época o paso en el que ocurre esta transición en esos escenarios. ^{[ 2 ] : 10}

El fenómeno de Grokking puede entenderse como una transición de fase durante el proceso de entrenamiento. ^{[ 5 ]} En particular, trabajos recientes han demostrado que el Grokking puede deberse a una transición de fase de complejidad en el modelo durante el entrenamiento. ^{[ 6 ]} Si bien se ha pensado que el Grokking es principalmente un fenómeno de modelos relativamente simples, se ha observado en redes neuronales profundas y modelos no neuronales, y es objeto de investigación activa. ^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]}

Una posible explicación es que la regularización (un componente de la función de pérdida que penaliza los valores más altos de los parámetros de la red neuronal ) favorece ligeramente la solución general, que es más simple (ya que implica valores de peso más bajos), pero que también es más difícil de encontrar. Según Neel Nanda, el proceso de aprendizaje de la solución general puede ser gradual, aunque la transición a dicha solución se produzca más repentinamente más adelante. ^{[ 1 ]}

Teorías recientes ^{[ 11 ] [ 12 ]} han planteado la hipótesis de que el grokking ocurre cuando las redes neuronales transitan de un régimen de "entrenamiento perezoso" ^{[ 13 ]} , donde los pesos no se desvían mucho de la inicialización, a un régimen "rico", donde los pesos comienzan abruptamente a moverse en direcciones relevantes para la tarea. Trabajos empíricos y teóricos posteriores ^{[ 14 ]} han acumulado evidencia en apoyo de esta perspectiva y ofrecen una visión unificadora de trabajos anteriores, ya que se sabe que la transición de la dinámica de entrenamiento perezoso a la rica surge de propiedades de optimizadores adaptativos, ^{[ 15 ]} decaimiento de pesos, ^{[ 16 ]} norma de peso de parámetros iniciales, ^{[ 9 ]} y más. Esta perspectiva es complementaria a un marco unificador de "velocidades de aprendizaje de patrones" que vincula el grokking y el doble descenso ; dentro de esta visión, la generalización retardada puede surgir a lo largo del tiempo de entrenamiento ("por época") o a lo largo del tamaño del modelo ("por modelo"), y los autores informan de "grokking por modelo". ^{[ 17 ]}

• Sobreajuste
• Error de generalización
• Doble descenso
• núcleo tangente neuronal
• Aprendizaje de características
• Hackeo de recompensas
• alineación de IA
• Método del cuello de botella de la información
• Regularización (matemáticas)
• Teoría del aprendizaje estadístico