Atención

PagedAttention es un algoritmo de atención para el servicio eficiente de modelos de lenguaje grandes (LLM). Fue presentado en 2023 por Woosuk Kwon y sus colegas en el artículo Efficient Memory Management for Large Language Model Serving with PagedAttention ^{[ 1 ]} , junto con el motor de servicio vLLM . El método almacena la caché de clave-valor utilizada durante la decodificación autorregresiva en bloques de tamaño fijo que pueden asignarse a memoria física no contigua, tomando prestadas ideas de la memoria virtual , la paginación y el diseño de sistemas operativos ^{[ 2 ] [ 3 ] .}

En la inferencia de transformadores , la caché clave-valor crece con la longitud de la secuencia y el número de solicitudes concurrentes . Kwon et al. argumentaron que los sistemas de servicio anteriores generalmente reservaban regiones de caché contiguas por adelantado, lo que causaba espacio reservado, fragmentación interna y fragmentación externa. En sus experimentos, el artículo informó que la utilización efectiva de la memoria de los sistemas anteriores podía caer hasta un 20,4 %. ^{[ 2 ]}

PagedAttention particiona la caché de cada secuencia en bloques KV de tamaño fijo . La caché de una solicitud se representa como una secuencia de bloques lógicos, mientras que una tabla de bloques asigna esos bloques lógicos a bloques de memoria física de la GPU. Como resultado, los bloques lógicos vecinos no necesitan ser contiguos en la memoria física, y se pueden asignar nuevos bloques bajo demanda a medida que avanza la generación. ^{[ 2 ]}

El diseño también facilita compartir el estado de la caché entre rutas de decodificación relacionadas. En vLLM , los bloques físicos pueden contarse por referencia y compartirse entre solicitudes o ramas, y se utiliza la copia en escritura con granularidad de bloque cuando se debe modificar un bloque compartido. El artículo original aplicó este diseño al muestreo paralelo, la búsqueda en haz y las indicaciones con prefijos compartidos. ^{[ 2 ]}

Para un token de consulta${\displaystyle i}$En la autoatención causal, la salida de atención estándar se puede escribir como $${\displaystyle a_{ij}={\frac {\exp(\mathbf {q} _{i}^{\top }\mathbf {k} _{j}/{\sqrt {d}})}{\sum _{t=1}^{i}\exp(\mathbf {q} _{i}^{\top }\mathbf {k} _{t}/{\sqrt {d}})}},\;\mathbf {o} _{i}=\sum _{j=1}^{i}a_{ij}\mathbf {v} _{j}}$$ dónde${\displaystyle \mathbf {q} _ {i}}$,${\displaystyle \mathbf {k} _ {j}}$, y${\displaystyle \mathbf {v} _ {j}}$son los vectores de consulta, clave y valor, y${\displaystyle d}$es la dimensión de atención. ^{[ 2 ]}

Si la caché se particiona en bloques de tamaño${\displaystyle B}$, los bloques de clave y valor se pueden escribir como $${\displaystyle \mathbf {K} _{j}=(\mathbf {k} _{(j-1)B+1},\ldots ,\mathbf {k} _{jB}),\;\mathbf {V} _{j}=(\mathbf {v} _{(j-1)B+1},\ldots ,\mathbf {v} _{jB})}$$ PagedAttention realiza entonces el cálculo por bloques: $${\displaystyle \mathbf {A} _{ij}={\frac {\exp(\mathbf {q} _{i}^{\top }\mathbf {K} _{j}/{\sqrt {d}})}{\sum _{t=1}^{\lceil i/B\rceil }\exp(\mathbf {q} _{i}^{\top }\mathbf {K} _{t}/{\sqrt {d}})}},\;\mathbf {o} _{i}=\sum _{j=1}^{\lceil i/B\rceil }\mathbf {V} _{j}\mathbf {A} _{ij}^{\top }}$$ dónde${\displaystyle \mathbf {A} _ {ij}}$es el vector de puntuaciones de atención para el${\displaystyle j}$-ésimo bloque KV. En la formulación dada por Kwon et al. , esto preserva el cálculo de atención causal al tiempo que permite que los bloques de clave y valor residan en memoria física no contigua. ^{[ 2 ]}

El artículo de vLLM informó que, en las cargas de trabajo evaluadas, el uso de PagedAttention y el diseño de gestión de memoria asociado mejoraron el rendimiento de servicio entre 2 y 4 veces con respecto a las líneas base comparadas, incluidas FasterTransformer y Orca, al tiempo que se conservaron las salidas del modelo. En experimentos en OPT-13B con el trazado Alpaca, el artículo también informó ahorros de memoria del 6,1 al 9,8 % para el muestreo paralelo y del 37,6 al 55,2 % para la búsqueda de haces mediante el uso compartido de bloques KV. ^{[ 2 ]}

Una encuesta de 2024 sobre sistemas de servicio LLM describió PagedAttention como una norma de la industria en los marcos de servicio LLM, citando el soporte en TGI, vLLM y TensorRT-LLM. ^{[ 3 ]}

Trabajos posteriores han descrito las ventajas y desventajas de este enfoque. El artículo de vAttention de 2025 argumentó que PagedAttention requiere que los núcleos de atención se reescriban para admitir la paginación y aumenta la complejidad del software, los problemas de portabilidad, la redundancia y la sobrecarga de ejecución, proponiendo en su lugar un administrador de memoria que mantiene la caché contigua en la memoria virtual mientras se basa en la paginación bajo demanda para la asignación física. ^{[ 4 ]}

• AlphaDev y AlphaEvolve : sistemas de IA de Google DeepMind para descubrir y optimizar algoritmos de informática.
• Mecanismo de atención
• Búsqueda por haz
• Políticas de reemplazo de caché
• Lista de algoritmos de inteligencia artificial