Modelo visión-lenguaje-acción

En el aprendizaje robótico , un modelo de visión-lenguaje-acción ( VLA ) es una clase de modelos fundamentales multimodales que integra visión , lenguaje y acciones. A partir de una imagen (o vídeo) del entorno del robot y una instrucción de texto, un VLA genera directamente acciones de bajo nivel que el robot puede ejecutar para completar la tarea solicitada. ^{[ 1 ]}

Los VLA generalmente se construyen ajustando un modelo de lenguaje-visión (VLM) (es decir, un modelo de lenguaje grande extendido con capacidades de visión ) en un conjunto de datos a gran escala que combina la observación visual y las instrucciones de lenguaje con las trayectorias del robot. ^{[ 2 ]} Estos modelos combinan un codificador de lenguaje-visión ( transformador de visión ), que traduce una observación de imagen y una descripción en lenguaje natural en una distribución dentro de un espacio latente , con un decodificador de acciones que transforma esta representación en acciones de salida continuas, directamente ejecutables en el robot. ^{[ 3 ]}

El concepto fue desarrollado por primera vez en julio de 2023 por Google DeepMind con RT -2, un VLM adaptado para tareas de manipulación de extremo a extremo, capaz de unificar percepción , razonamiento y control . ^{[ 4 ]}

Las VLA comparten una arquitectura común de alto nivel articulada en dos etapas:

• En la primera etapa, un VLM preentrenado sirve como núcleo de percepción y razonamiento. Codifica una o más imágenes de cámara junto con una instrucción lingüística en una secuencia de tokens de lenguaje en un espacio latente compartido. Los VLM se entrenan específicamente con grandes conjuntos de datos multimodales y pueden realizar diversas tareas, como comprensión de imágenes , respuesta a preguntas visuales y razonamiento . Para controlar directamente a los robots, los VLM deben ampliarse para generar acciones robóticas. ^{[ 5 ]}

• En la segunda etapa, un decodificador de acciones asigna esos tokens a símbolos discretos que luego se destokenizan en comandos continuos del robot. Estas acciones de salida se representan de la misma manera que los tokens del lenguaje, pero se refieren específicamente al número de grados de libertad (DoF) del efector final del robot . Considerando un efector final de 6 DoF, el espacio de acciones generalmente incluye desplazamientos del efector final (posicionales y rotacionales) y posiciones de la pinza. Por ejemplo, en RT-2, cada vector de acción cubre 6 DoF además del estado de la pinza y un indicador de terminación, todo cuantificado en 256 bins. ^{[ 2 ]}

Los VLA suelen basarse en VLM comerciales, lo que proporciona al robot una comprensión previa de imágenes y texto. Durante el proceso de entrenamiento, el modelo se ajusta con datos en forma de (instrucciones de texto, observaciones visuales, trayectorias de acción), aprendiendo así a mapear observaciones visuales e instrucciones de texto a acciones del robot. El conjunto de datos de entrenamiento consiste en demostraciones del robot que pueden obtenerse de robots reales, teleoperación humana o incluso generarse sintéticamente en un entorno de simulación. Gracias al aprendizaje de extremo a extremo, los VLA aprenden inherentemente a asociar conceptos de alto nivel (por ejemplo, categorías de objetos y relaciones espaciales) con acciones de bajo nivel, eliminando la partición típica de los sistemas robóticos tradicionales. ^{[ 2 ] [ 6 ]}

Una decisión de diseño crucial para la arquitectura de un robot virtual automatizado (VLA) es el formato en el que se codifican las acciones del robot.

La "Salida de Tokens Discretos" es el enfoque más común, utilizado por VLA como RT-2 y OpenVLA, y representa cada primitiva de movimiento como una secuencia de tokens discretos. De esta manera, el modelo codifica las acciones del robot como una cadena de acciones, y el modelo VLA aprende a generar estas secuencias del mismo modo que un modelo de lenguaje genera texto. Este enfoque basado en tokens mantiene la misma capa de salida y simplifica el entrenamiento. Sin embargo, la conversión de trayectorias continuas en símbolos de vocabulario puede limitar la precisión espacial o la resolución temporal. RT-2 demuestra que esto se puede mitigar utilizando tokens especiales que, por ejemplo, marcan el final de un segmento de acción. ^{[ 2 ] [ 7 ]}

La «salida continua» (difusión/flujo) es un enfoque alternativo utilizado por robots virtuales como π ₀ que, para lograr una destreza precisa y un control de alta frecuencia, prescinden de tokens discretos y generan directamente acciones continuas. Esto se consigue mediante el uso de modelos de difusión o redes de coincidencia de flujo que actúan como decodificador de acciones. π ₀ aprovechó esta estrategia para generar trayectorias articulares continuas de hasta 50 Hz . En la práctica, la salida continua tiende a ser más escalable para robots con muchos grados de libertad, donde la discretización para cada grado de libertad sería impracticable. ^{[ 8 ]}

Los VLA pueden organizarse como una única red de extremo a extremo o como un sistema dual que emplea dos modelos acoplados.

El diseño de modelo único, empleado por RT-2, OpenVLA y π ₀ , comprende simultáneamente la escena y la instrucción de lenguaje para producir acciones del robot en una sola pasada hacia adelante, manteniendo la arquitectura simple y reduciendo la latencia . ^{[ 2 ] [ 7 ] [ 8 ]}

El diseño de sistema dual, adoptado por Helix y Groot N1, divide la arquitectura en dos componentes. El primer componente suele ser más lento y se encarga de la observación de imágenes y las instrucciones de texto recibidas como entrada. El segundo componente funciona a mayor velocidad y genera las acciones del robot. Ambos componentes se entrenan de extremo a extremo para comunicarse. Esta división mejora la destreza y reduce la latencia a costa de una mayor complejidad computacional. ^{[ 9 ] [ 10 ]}

El Robotic Transformer 2 (RT-2) fue desarrollado por Google DeepMind a mediados de 2023 y estableció el paradigma del modelo visión-lenguaje-acción en robótica. Se basa en dos VLM de última generación, PaLI-X ^{[ 11 ]} y PaLM-E ^{[ 12 ]} , respectivamente , ajustándolos con datos reales de demostración de robots. RT-2 toma como entrada imágenes de cámara junto con una descripción de texto y genera acciones de robot discretizadas codificadas como tokens discretos. En comparación con su predecesor RT-1 ^{[ 13 ]} , que fue entrenado solo con datos robóticos, RT-2 muestra una mayor capacidad de generalización para nuevas tareas, siendo también capaz de realizar razonamientos de múltiples pasos utilizando cadenas de pensamiento ^{[ 4 ]} .

OpenVLA es un modelo VLA de código abierto con 7 mil millones de parámetros, presentado en junio de 2024 por investigadores de Stanford . Fue entrenado con el conjunto de datos Open X-Embodiment, una colaboración entre 21 instituciones que recopiló más de un millón de episodios de 22 encarnaciones diferentes. El modelo fusiona características de imagen mediante DINOv2 ^{[ 14 ]} y CLIP , con una arquitectura de lenguaje Llama-2 , y genera tokens de acciones discretas. A pesar de su menor tamaño en comparación con RT-2 de Google DeepMind, OpenVLA supera a RT-2 en un conjunto de tareas de manipulación. También admite métodos de ajuste fino eficientes en parámetros y cuantización para implementaciones con recursos limitados. ^{[ 7 ] [ 15 ] [ 16 ]}

Octo es una política robótica generalista de código abierto y ligera desarrollada por la UC Berkeley . Entrenada originalmente en Open X-Embodiment, se lanzó en configuraciones más pequeñas (27M y 93M parámetros). Octo codifica instrucciones de texto y observaciones de imágenes, respectivamente, con un modelo de lenguaje y una red neuronal convolucional ligera . Además, en lugar de un decodificador autorregresivo, Octo utiliza una política de difusión que genera trayectorias articulares continuas, lo que permite un movimiento más suave y una rápida adaptación a la tarea. Durante el ajuste fino, la estructura de atención por bloques de la arquitectura empleada por Octo permite añadir nuevas observaciones sin modificar los parámetros. ^{[ 17 ]}

TinyVLA es un VLA compacto diseñado para una inferencia rápida y un entrenamiento eficiente. TinyVLA aborda los requisitos computacionales y la gran dependencia de conjuntos de datos extensos de sus predecesores inicializando la política con una estructura multimodal más pequeña y luego ajustándola con precisión en datos de robótica. Este trabajo demostró el potencial de VLA más eficientes, centrándose en la arquitectura y la curación de datos sin el costo computacional de modelos muy grandes. ^{[ 18 ]}

π ₀ (pi-zero) es un VLA generalista a gran escala, anunciado a finales de 2024 por la startup Physical Intelligence. ^{[ 8 ]} π ₀ incorpora Paligemma ^{[ 19 ]} como una estructura VLM preentrenada, construida a partir de codificadores SigLIP ^{[ 20 ]} y Gemma ^{[ 21 ]} , con un experto en acciones entrenado en trayectorias de robots de Open X-Embodiment. Entrenado en trayectorias de robots de 8 encarnaciones diferentes, es capaz de generalizar entre encarnaciones, controlar diferentes brazos robóticos (de un solo brazo, de doble brazo) y abordar una amplia variedad de tareas. π ₀ también introdujo un modelo de coincidencia de flujo para generar acciones continuas de alta frecuencia, hasta 50 Hz, mientras que el cabezal de acción aprovecha una política de difusión. ^{[ 22 ] [ 23 ]} π ₀ -FAST, una extensión de π ₀ , aprovecha la tokenización de secuencias de acciones en el espacio de frecuencia (FAST), ^{[ 24 ]} un nuevo enfoque de compresión de series temporales que transforma tokens continuos del dominio del tiempo al dominio de la frecuencia utilizando la transformada discreta del coseno .

Helix, presentado en febrero de 2025 por Figure AI , es un VLA generalista diseñado específicamente para robots humanoides. Es el primer VLA capaz de controlar a alta frecuencia la parte superior del cuerpo de un humanoide (brazos, manos, torso, cabeza y dedos). Utiliza una arquitectura de sistema dual, con dos sistemas complementarios entrenados para comunicarse de extremo a extremo. El Sistema 2 (S2) es un VLM a escala de internet especializado en la comprensión de escenas y lenguaje, mientras que el Sistema 1 (S1) es una política visuomotora que traduce las representaciones latentes producidas por S2 en acciones continuas del robot. Esta arquitectura desacoplada permite lograr tanto una amplia generalización como un control rápido de bajo nivel. Helix se entrenó con aproximadamente 500 horas de teleoperación robótica combinadas con descripciones de texto generadas automáticamente. El modelo Helix puso de manifiesto la capacidad de los VLA para adaptarse a representaciones complejas como los humanoides. ^{[ 9 ]}

GR00T N1, lanzado por NVIDIA en marzo de 2025, es un VLA para robots humanoides que adopta la misma arquitectura de sistema dual empleada por Helix. Está compuesto por un Sistema 2, un VLM responsable de la percepción del entorno, y un Sistema 1, que genera la acción motora. A diferencia de otros VLA, incluye una mezcla heterogénea de datos que comprende trayectorias de robots, vídeos de humanos y conjuntos de datos sintéticos. ^{[ 10 ]}

Gemini Robotics , presentado en 2025 por Google DeepMind , es un VLA que se basa en las capacidades de Gemini 2.0. Si bien Gemini es inherentemente capaz de procesar datos multimodales como texto, imágenes, videos y audio, Gemini Robotics extiende estas capacidades al mundo físico, permitiendo que los robots realicen acciones. Las capacidades de razonamiento de la arquitectura VLM de Gemini 2.0, junto con las acciones robóticas de bajo nivel aprendidas, permiten que el robot realice tareas de gran destreza, como doblar origami y jugar a las cartas. El modelo exhibe un alto grado de generalización y es capaz de adaptarse a plataformas completamente nuevas. En junio de 2025, los autores lanzaron Gemini Robotics On-Device, una versión ligera del modelo anterior, optimizada para ejecutarse localmente en un robot real con baja latencia y alta fiabilidad, preservando la destreza. ^{[ 6 ] [ 25 ]}

SmolVLA es un VLA compacto de código abierto con 450 millones de parámetros, publicado por Hugging Face . Representa un esfuerzo por democratizar la investigación sobre VLA. Fue entrenado completamente con LeRobot, un conjunto de datos de código abierto recopilado y curado por la comunidad. A pesar de su tamaño compacto, SmolVLA logró un rendimiento comparable al de VLA mucho más grandes como Octo, OpenVLA y π _0. La arquitectura de SmolVLA emplea coincidencia de flujo para el control continuo e inferencia asíncrona para desacoplar la estructura base del VLM de la ejecución de la acción. SmolVLA se puede ajustar y usar en una sola GPU de consumo. ^{[ 26 ] [ 27 ] [ 28 ]}

• Aprendizaje robótico
• Modelo de lenguaje grande
• Modelo de lenguaje visual
• Modelo de fundación
• Procesamiento del lenguaje natural

• Brohan, Anthony; Brown, Noah; Carbajal, Justice; Chebotar, Yevgen; Chen, Xi; Choromanski, Krzysztof; Ding, Tianli; Driess, Danny; Dubey, Avinava (28 de julio de 2023), RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control , arXiv : 2307.15818
• Negro, Kevin; Marrón, Noé; Seque, Danny; Esmail, Adnan; Equi, Michael; finlandés, Chelsea; Fusai, Nicolás; Novio, Lachy; Hausman, Karol (2024), $π_0$: Un modelo de flujo de visión-lenguaje-acción para el control general de robots , arXiv : 2410.24164
• Mamá, Yueen; Canción, Zixing; Zhuang, Yuzheng; Hao, Jianye; King, Irwin (4 de marzo de 2025), Una encuesta sobre modelos de visión-lenguaje-acción para la IA incorporada , arXiv : 2405.14093