Mezcla de expertos

La red meta-pi, reportada por Hampshire y Waibel, ^{[ 4 ]} utiliza${\displaystyle f(x)=\sum _{i}w(x)_{i}f_{i}(x)}$como resultado. El modelo se entrena realizando un descenso de gradiente sobre la pérdida de error cuadrático medio.${\displaystyle L:={\frac {1}{N}}\sum _{k}\|y_{k}-f(x_{k})\|^{2}}$Los expertos pueden desempeñar funciones arbitrarias.

En su publicación original, resolvieron el problema de clasificar fonemas en la señal de voz de 6 hablantes japoneses diferentes, 2 mujeres y 4 hombres. Entrenaron a 6 expertos, cada uno de los cuales era una "red neuronal con retardo temporal" ^{[ 5 ]} (esencialmente una red convolucional multicapa sobre el espectrograma mel ). Descubrieron que la mezcla resultante de expertos asignaba 5 expertos a 5 de los hablantes, pero el sexto hablante (hombre) no tenía un experto asignado; en cambio, su voz fue clasificada por una combinación lineal de los expertos de los otros 3 hablantes masculinos.

Las mezclas adaptativas de expertos locales ^{[ 6 ] [ 7 ]} utilizan un modelo de mezcla gaussiana . Cada experto simplemente predice una distribución gaussiana e ignora por completo la entrada. Específicamente, el${\displaystyle i}$-el experto predice que el resultado es${\displaystyle y\sim N(\mu _ {i},I)}$, dónde${\displaystyle \mu _{i}}$es un parámetro que se puede aprender. La función de ponderación es una función softmax lineal:$${\displaystyle w(x)_{i}={\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}}$$La mezcla de expertos predice que el resultado se distribuye según la función de densidad de probabilidad logarítmica:$${\displaystyle \ln f_{\theta }(y|x)=\ln \left[\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}N(y|\mu _{i},I)\right]=\ln \left[(2\pi )^{-d/2}\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}e^{-{\frac {1}{2}}\|y-\mu _{i}\|^{2}}\right]}$$Se entrena mediante estimación de máxima verosimilitud, es decir, ascenso de gradiente en${\displaystyle f(y|x)}$. El gradiente para el${\displaystyle i}$-el experto es

$${\displaystyle \nabla _{\mu _{i}}\ln f_{\theta }(y|x)={\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}\;(y-\mu _{i})}$$

y el gradiente para la función de ponderación es$${\displaystyle \nabla _{[k_{i},b_{i}]}\ln f_{\theta }(y|x)={\begin{bmatrix}x\\1\end{bmatrix}}{\frac {w(x)_{i}}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}(f_{i}(x)-f_{\theta }(y|x))}$$

Para cada par entrada-salida${\displaystyle (x,y)}$Se modifica la función de ponderación para aumentar el peso de todos los expertos con un rendimiento superior al promedio y disminuir el de aquellos con un rendimiento inferior. Esto fomenta que la función de ponderación aprenda a seleccionar únicamente a los expertos que realizan las predicciones correctas para cada entrada.

El${\displaystyle i}$-el experto cambia para que su predicción sea más cercana a${\displaystyle y}$, pero la cantidad de cambio es proporcional a${\displaystyle w(x)_{i}N(y|\mu _{i},I)}$Esto tiene una interpretación bayesiana. Dado el input${\displaystyle x}$, la probabilidad previa de que el experto${\displaystyle i}$es el correcto es${\displaystyle w(x)_{i}}$, y${\displaystyle N(y|\mu _{i},I)}$es la probabilidad de evidencia${\displaystyle y}$. Entonces,${\displaystyle {\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}}$es la probabilidad posterior para el experto${\displaystyle i}$y por lo tanto la tasa de cambio para el${\displaystyle i}$El experto -ésimo es proporcional a su probabilidad posterior.

En otras palabras, a los expertos que, en retrospectiva, parecían los más indicados para consultar, se les pide que aprendan del ejemplo. A los expertos que, en retrospectiva, no lo eran, se les deja en paz.

El efecto combinado es que los expertos se especializan: supongamos que dos expertos son buenos prediciendo un tipo de entrada, pero uno es ligeramente mejor; entonces, la función de ponderación eventualmente aprenderá a favorecer al mejor. Después de esto, el experto menos hábil no puede obtener una señal de gradiente alto y empeora aún más en la predicción de ese tipo de entrada. Por el contrario, el experto menos hábil puede mejorar en la predicción de otros tipos de entrada y se especializa cada vez más en otra región. Esto tiene un efecto de retroalimentación positiva, lo que hace que cada experto se separe del resto y se ocupe de una región local en solitario (de ahí el nombre de " expertos locales ").

Las mezclas jerárquicas de expertos ^{[ 8 ] [ 9 ]} utilizan múltiples niveles de compuertas en un árbol. Cada compuerta es una distribución de probabilidad sobre el siguiente nivel de compuertas, y los expertos están en los nodos hoja del árbol. Son similares a los árboles de decisión .

Por ejemplo, un MoE jerárquico de 2 niveles tendría una función de compuerta de primer orden.${\displaystyle w_{i}}$y funciones de compuerta de segundo orden${\displaystyle w_{j|i}}$y expertos${\displaystyle f_{j|i}}$La predicción total es entonces${\displaystyle \sum _{i}w_{i}(x)\sum _{j}w_{j|i}(x)f_{j|i}(x)}$.

La mezcla de expertos, similar al modelo de mezcla gaussiana, también puede entrenarse mediante el algoritmo de expectativa-maximización, al igual que los modelos de mezcla gaussiana . Específicamente, durante el paso de expectativa, la "carga" para explicar cada punto de datos se asigna a los expertos, y durante el paso de maximización, los expertos se entrenan para mejorar las explicaciones para las que obtuvieron una carga alta, mientras que la puerta se entrena para mejorar su asignación de carga. Esto puede converger más rápido que el ascenso de gradiente en la log-verosimilitud. ^{[ 9 ] [ 10 ]}

La función de compuerta elegida suele ser softmax. Además, la compuerta puede utilizar distribuciones gaussianas ^{[ 11 ]} y familias exponenciales ^{[ 10 ]} .

En lugar de realizar una suma ponderada de todos los expertos, en el método MoE duro, ^{[ 12 ]} solo se elige al experto mejor clasificado. Es decir,${\displaystyle f(x)=f_{\arg \max _{i}w_{i}(x)}(x)}$Esto puede acelerar el tiempo de entrenamiento e inferencia. ^{[ 13 ]}

Los expertos pueden utilizar formas más generales de distribuciones gaussianas multivariantes. Por ejemplo, ^{[ 8 ]} propuso${\displaystyle f_{i}(y|x)=N(y|A_{i}x+b_{i},\Sigma _{i})}$, dónde${\displaystyle A_{i},b_{i},\Sigma _{i}}$son parámetros que se pueden aprender. En otras palabras, cada experto aprende a realizar una regresión lineal, con una estimación de incertidumbre que también se puede aprender.

Se pueden utilizar expertos diferentes a las distribuciones gaussianas. Por ejemplo, se puede utilizar la distribución de Laplace , ^{[ 14 ]} o la distribución t de Student . ^{[ 15 ]} Para la clasificación binaria, también se propusieron expertos de regresión logística , con$${\displaystyle f_{i}(y|x)={\begin{cases}{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=0\\1-{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=1\end{cases}}}$$dónde${\displaystyle \beta _{i},\beta _{i,0}}$son parámetros aprendibles. Esto se generaliza posteriormente para la clasificación multiclase, con expertos en regresión logística multinomial . ^{[ 16 ]}

Un artículo propuso una mezcla de softmaxes para el modelado de lenguaje autorregresivo. ^{[ 17 ]} Específicamente, considérese un modelo de lenguaje que, dado un texto anterior,${\displaystyle c}$, predice la siguiente palabra${\displaystyle x}$La red codifica el texto en un vector.${\displaystyle v_{c}}$y predice la distribución de probabilidad de la siguiente palabra como${\displaystyle \mathrm {Softmax} (v_{c}W)}$para una matriz de incrustación${\displaystyle W}$En una mezcla de softmaxes, el modelo genera múltiples vectores.${\displaystyle v_{c,1},\dots ,v_{c,n}}$y predecir la siguiente palabra como${\displaystyle \sum _{i=1}^{n}p_{i}\;\mathrm {Softmax} (v_{c,i}W_{i})}$, dónde${\displaystyle p_{i}}$es una distribución de probabilidad mediante una operación softmax lineal sobre las activaciones de las neuronas ocultas dentro del modelo. El artículo original demostró su eficacia para redes neuronales recurrentes . Posteriormente se descubrió que también funciona para Transformers. ^{[ 18 ]}

La capa MoE con compuerta dispersa, ^{[ 21 ]} publicada por investigadores de Google Brain , utiliza redes de alimentación directa como expertos y compuerta softmax lineal. De manera similar a la MoE dura propuesta anteriormente, logran la dispersión mediante una suma ponderada de solo los k mejores expertos, en lugar de la suma ponderada de todos ellos. Específicamente, en una capa MoE, hay redes de alimentación directa.${\displaystyle f_{1},...,f_{n}}$y una red de control${\displaystyle w}$La red de compuertas se define por${\displaystyle w(x)=\mathrm {softmax} (\mathrm {top} _{k}(Wx+{\text{noise}}))}$, dónde${\displaystyle \mathrm {top} _{k}}$es una función que mantiene iguales las k entradas superiores de un vector, pero establece todas las demás entradas en${\displaystyle -\infty }$La adición de ruido ayuda al equilibrio de carga.

La elección de${\displaystyle k}$es un hiperparámetro que se elige según la aplicación. Los valores típicos son${\displaystyle k=1,2}$. El${\displaystyle k=1}$Esta versión también se denomina Switch Transformer. El Switch Transformer original se aplicó a un modelo de lenguaje T5 . ^{[ 22 ]}

Como demostración, entrenaron una serie de modelos para traducción automática con capas alternas de MoE y LSTM , y los compararon con modelos LSTM profundos. ^{[ 23 ]} La Tabla 3 muestra que los modelos MoE utilizaron menos tiempo de cálculo de inferencia, a pesar de tener 30 veces más parámetros.

Este módulo arquitectónico se publicó en enero de 2017, pocos meses después de la publicación de la arquitectura Transformer (12 de junio de 2017), y se combinaron en una arquitectura multimodal llamada MultiModel, publicada 4 días después (16 de junio de 2017). ^{[ 24 ]}

Vanilla MoE tiende a tener problemas de equilibrio de carga: algunos expertos son consultados con frecuencia, mientras que otros rara vez o nunca. Para incentivar a la puerta a seleccionar a cada experto con igual frecuencia (equilibrio de carga adecuado) dentro de cada lote, cada capa de MoE tiene dos funciones de pérdida auxiliares. Esto se mejora con Switch Transformer ^{[ 22 ]} en una sola función de pérdida auxiliar. Específicamente, dejemos${\displaystyle n}$Sea el número de expertos, entonces para un lote determinado de consultas${\displaystyle \{x_{1},x_{2},...,x_{T}\}}$, la pérdida auxiliar para el lote es$${\displaystyle n\sum _{i=1}^{n}f_{i}P_{i}}$$Aquí,${\displaystyle f_{i}={\frac {1}{T}}\#({\text{queries sent to expert }}i)}$es la fracción de tokens que eligieron experto${\displaystyle i}$, y${\displaystyle P_{i}={\frac {1}{T}}\sum _{j=1}^{T}{\frac {w_{i}(x_{j})}{\sum _{i'\in {\text{experts}}}w_{i'}(x_{j})}}}$es la fracción de peso en experto${\displaystyle i}$Esta pérdida se minimiza en${\displaystyle 1}$, precisamente cuando cada experto tiene el mismo peso${\displaystyle 1/n}$en todas las situaciones.

Investigadores de DeepSeek diseñaron una variante de MoE, con "expertos compartidos" que siempre son consultados y "expertos enrutados" que podrían no serlo. Descubrieron que el balanceo de carga estándar fomenta que los expertos sean consultados por igual, pero esto provoca que repliquen la misma capacidad central, como la gramática inglesa. Propusieron que los expertos compartidos aprendieran las capacidades centrales que se usan con frecuencia, y que los expertos enrutados aprendieran las capacidades periféricas que se usan con poca frecuencia. ^{[ 26 ]}

También propusieron una "estrategia de equilibrio de carga sin pérdidas auxiliares", que no utiliza pérdidas auxiliares. En cambio, cada experto${\displaystyle i}$tiene un "sesgo de experto" adicional.${\displaystyle b_{i}}$. Si se descuida a un experto, su sesgo aumenta, y viceversa. Durante la asignación de tokens, cada token elige a los k mejores expertos, pero con el sesgo añadido. Es decir: ^{[ 27 ]}$${\displaystyle f(x)=\sum _{i{\text{ is in the top-k of }}\{w(x)_{j}+b_{j}\}_{j}}w(x)_{i}f_{i}(x)}$$Cabe señalar que el sesgo de los expertos influye en la selección de los mismos, pero no en la suma de sus respuestas.

Supongamos que hay${\displaystyle n}$expertos en una capa. Para un lote de consultas determinado${\displaystyle \{x_{1},x_{2},...,x_{T}\}}$Cada consulta se enruta a uno o más expertos. Por ejemplo, si cada consulta se enruta a un experto como en Switch Transformers, y si los expertos están balanceados en carga, entonces cada experto debería esperar en promedio${\displaystyle T/n}$consultas en lotes. En la práctica, los expertos no pueden esperar un equilibrio de carga perfecto: en algunos lotes, un experto podría estar infrautilizado, mientras que en otros lotes estaría sobrecargado.

Dado que las entradas no pueden moverse a través de la capa hasta que cada experto en la capa haya terminado las consultas que se le han asignado, el equilibrio de carga es importante. El factor de capacidad se utiliza a veces para imponer una restricción estricta en el equilibrio de carga. A cada experto solo se le permite procesar hasta${\displaystyle c\cdot T/n}$consultas en un lote. El informe ST-MoE encontró${\displaystyle c\in [1.25,2]}$para funcionar bien en la práctica. ^{[ 28 ]}

En el MoE original con compuertas dispersas, solo se consulta a los k expertos principales y sus salidas se suman ponderadamente. Existen otros métodos. ^{[ 28 ]} En términos generales, el enrutamiento es un problema de asignación : ¿Cómo asignar tokens a expertos, de manera que se cumplan diversas restricciones (como el rendimiento, el equilibrio de carga, etc.)? Normalmente existen tres clases de algoritmos de enrutamiento: los expertos eligen los tokens ("elección de expertos"), ^{[ 29 ]} los tokens eligen a los expertos (el MoE original con compuertas dispersas) y un asignador global que empareja expertos y tokens. ^{[ 30 ]}

Durante la inferencia, el MoE trabaja con un gran lote de tokens en todo momento. Si los tokens eligieran a los expertos, algunos expertos podrían recibir pocos tokens, mientras que otros recibirían tantos que excederían su tamaño máximo de lote, por lo que tendrían que ignorar algunos. De manera similar, si los expertos eligieran los tokens, algunos podrían no ser seleccionados por ningún experto. Este es el problema de la "pérdida de tokens". Perder un token no es necesariamente un problema grave, ya que en Transformers, debido a las conexiones residuales , si un token se "pierde", no desaparece. En cambio, su representación vectorial simplemente pasa a través de la capa de propagación hacia adelante sin cambios. ^{[ 30 ]}

Otros enfoques incluyen resolverlo como un problema de programación lineal con restricciones , ^{[ 31 ]} utilizando aprendizaje por refuerzo para entrenar el algoritmo de enrutamiento (ya que elegir un experto es una acción discreta, como en RL). ^{[ 32 ]} La coincidencia token-experto puede no implicar aprendizaje ("enrutamiento estático"): puede hacerse mediante una función hash determinista ^{[ 33 ]} o un generador de números aleatorios. ^{[ 34 ]}

Las capas MoE se utilizan en los modelos Transformer más grandes , para los cuales el aprendizaje y la inferencia sobre el modelo completo resultan demasiado costosos. Suelen tener compuertas dispersas, con una dispersión de 1 o 2. En los modelos Transformer, las capas MoE se utilizan a menudo para seleccionar las capas de alimentación directa (normalmente una red lineal-ReLU-lineal), que aparecen en cada bloque Transformer después de la atención multi-cabeza. Esto se debe a que las capas de alimentación directa consumen una porción cada vez mayor del coste computacional a medida que los modelos crecen. Por ejemplo, en el modelo Palm-540B, el 90 % de los parámetros se encuentran en sus capas de alimentación directa. ^{[ 35 ]}

Un Transformer entrenado puede convertirse en un MoE duplicando sus capas de alimentación directa, con compuertas inicializadas aleatoriamente, y luego entrenándolo aún más. Esta es una técnica llamada "reciclaje ascendente disperso". ^{[ 36 ]}

En el diseño del Transformer MoE intervienen numerosas decisiones que afectan a la estabilidad del entrenamiento y al rendimiento final. El informe OLMoE las describe con cierto detalle. ^{[ 37 ]}

A partir de 2023Los modelos lo suficientemente grandes como para usar MoE tienden a ser modelos de lenguaje grandes , donde cada experto tiene del orden de 10 mil millones de parámetros. Además de los modelos de lenguaje, Vision MoE ^{[ 38 ]} es un modelo Transformer con capas MoE. Lo demostraron entrenando un modelo con 15 mil millones de parámetros. MoE Transformer también se ha aplicado a modelos de difusión . ^{[ 39 ]}

Una serie de grandes modelos de lenguaje de Google utilizaron MoE. GShard ^{[ 40 ]} utiliza MoE con hasta dos expertos principales por capa. Específicamente, el experto principal siempre se selecciona, y el segundo experto principal se selecciona con una probabilidad proporcional al peso de dicho experto según la función de compuerta. Posteriormente, GLaM ^{[ 41 ]} demostró un modelo de lenguaje con 1,2 billones de parámetros, donde cada capa de MoE utiliza dos de los 64 expertos principales. Switch Transformers ^{[ 22 ]} utiliza el experto principal en todas las capas de MoE.

El NLLB-200 de Meta AI es un modelo de traducción automática para 200 idiomas. ^{[ 42 ]} Cada capa MoE utiliza un MoE jerárquico con dos niveles. En el primer nivel, la función de compuerta elige usar una capa de alimentación directa "compartida" o usar expertos. Si se usan expertos, otra función de compuerta calcula los pesos y elige a los 2 mejores expertos. ^{[ 43 ]}

Los grandes modelos de lenguaje de MoE se pueden adaptar para tareas posteriores mediante el ajuste de instrucciones . ^{[ 44 ]}

En diciembre de 2023, Mistral AI lanzó Mixtral 8x7B bajo la licencia Apache 2.0. Se trata de un modelo de lenguaje MoE con 46.700 millones de parámetros, 8 expertos y una dispersión de 2. También lanzaron una versión optimizada para el seguimiento de instrucciones. ^{[ 45 ] [ 46 ]}

En marzo de 2024, Databricks lanzó DBRX . Se trata de un modelo de lenguaje MoE con 132 mil millones de parámetros, 16 expertos y una dispersión de 4. También lanzaron una versión optimizada para el seguimiento de instrucciones. ^{[ 47 ] [ 48 ]}