Cobot de aire

Lanzado en enero de 2013, ^{[ 1 ]} el proyecto forma parte del programa del Fondo Interministerial de Aerospace Valley , un clúster empresarial en el suroeste de Francia. ^{[ 2 ]} Con un presupuesto de más de un millón de euros , ^{[ 3 ]} Air-Cobot tiene como objetivo desarrollar un robot móvil colaborativo innovador , autónomo en sus movimientos y capaz de realizar la inspección de una aeronave con sensores de ensayos no destructivos durante el prevuelo o durante las operaciones de mantenimiento en un hangar . ^{[ 2 ] [ 4 ]} Las pruebas se han realizado en las instalaciones de Airbus y Air France Industries . ^{[ 5 ]}

El líder del proyecto es Akka Technologies. Hay dos socios académicos; Akka Technologies y otras cuatro empresas conforman los cinco socios comerciales. ^{[ 6 ]}

Socios académicos

• Armines y el Instituto Clément Ader de la Escuela de Minas de Albi-Carmaux se encargan de los ensayos no destructivos . ^{[ 6 ] [ 7 ]}
• El Laboratoire d'analyse et d'architecture des systèmes (LAAS-CNRS) con el equipo de Robótica, Acción y Percepción (RAP) se encarga de la navegación autónoma . ^{[ 6 ] [ 7 ] [ 8 ]}

socios industriales

• Akka Technologies, en particular el centro de investigación y desarrollo Akka Research Toulouse, lidera el proyecto y aporta conocimientos en análisis de imágenes , navegación y mantenimiento de aeronaves. ^{[ 3 ] [ 6 ] [ 7 ] [ 9 ]}
• Airbus Innovations es el iniciador del proyecto, proporcionando modelos CAD del Airbus A320 y desarrollando escenarios operativos. ^{[ 3 ] [ 6 ] [ 7 ]}
• 2MoRO Solutions, una empresa con sede en el País Vasco francés, está a cargo del sistema de información de mantenimiento. ^{[ 6 ] [ 7 ]}
• M3 System, una empresa con sede en Toulouse, se encarga de la solución de localización en exteriores basada en el Sistema de Posicionamiento Global (GPS). ^{[ 6 ] [ 7 ] [ 10 ]}
• Sterela, con sede en el sur de Toulouse, proporciona la plataforma móvil 4MOB. ^{[ 6 ] [ 7 ] [ 11 ]}

La financiación del proyecto corre a cargo del banco público de inversiones , el consejo regional de Aquitania , el consejo departamental de los Pirineos Atlánticos , el consejo regional de Mediodía-Pirineos y la Unión Europea . ^{[ 12 ]}

Las aeronaves se inspeccionan durante las operaciones de mantenimiento, ya sea al aire libre en un aeropuerto entre vuelos o en un hangar para inspecciones de mayor duración. Estas inspecciones las realizan principalmente operadores humanos, de forma visual y, en ocasiones, utilizando herramientas para evaluar los defectos. ^{[ A 1 ]} El proyecto tiene como objetivo mejorar las inspecciones de aeronaves y la trazabilidad. Una base de datos dedicada a cada tipo de aeronave, que contiene imágenes y escaneos tridimensionales, se actualizará después de cada mantenimiento. Esto permite, por ejemplo, evaluar la propagación de una grieta. ^{[ 4 ] [ 13 ]}

La vista del operador humano se fatiga con el tiempo, mientras que una solución automática garantiza la fiabilidad y repetibilidad de las inspecciones. La reducción del tiempo necesario para las inspecciones es un objetivo fundamental para los fabricantes de aeronaves y las aerolíneas. Si las operaciones de mantenimiento son más rápidas, se optimizará la disponibilidad de las aeronaves y se reducirán los costes operativos de mantenimiento. ^{[ 4 ] [ 13 ]}

En un entorno exterior, el robot puede llegar al lugar de inspección localizándose mediante datos del Sistema de Posicionamiento Global (GPS). El dispositivo GPS desarrollado por M3 Systems permite la geolocalización . En el aeropuerto, el robot opera en corredores de navegación específicos respetando los límites de velocidad. Se envían alertas al operador si el robot entra en una zona prohibida o supera una velocidad determinada. ^{[ 10 ] [ A 2 ]}

Otro algoritmo basado en visión artificial proporciona, en tiempo real , detección de marcas viales. Cuando son visibles, los carriles pintados en el suelo pueden proporcionar datos complementarios al sistema de posicionamiento para obtener trayectorias más seguras. ^{[ A 3 ]} Si se encuentra en un entorno interior o exterior donde no hay información GPS disponible, el cobot puede cambiar al modo seguidor para moverse detrás del operador humano y seguirlo hasta la aeronave para inspeccionarla. ^{[ 14 ] [ A 2 ]}

Para realizar la inspección, el robot debe navegar alrededor de la aeronave y llegar a los puntos de control indicados en el modelo virtual de la misma. La posición de la aeronave en el aeropuerto o la fábrica no se conoce con precisión; el cobot necesita detectar la aeronave para conocer su posición y orientación con respecto a ella. Para ello, el robot puede ubicarse, ya sea con los datos láser de sus telémetros láser ^{[ A4 ] o con los datos de imagen de sus cámaras [ A1 ] [ A5 ]} .

Cerca de la aeronave, se adquiere una nube de puntos tridimensional cambiando la orientación de los sensores de escaneo láser fijados en unidades de giro e inclinación. Tras filtrar los datos para eliminar los grupos de puntos demasiado grandes o que tocan el suelo, se utiliza una técnica de registro con el modelo de la aeronave para estimar la orientación estática del robot. El robot se mueve y mantiene esta orientación considerando la odometría de sus ruedas, su unidad inercial y la odometría visual. ^{[ A 4 ]}

Los datos láser también se utilizan horizontalmente en dos dimensiones. Un algoritmo proporciona una estimación de la posición del robot en tiempo real cuando se visualizan suficientes elementos del tren de aterrizaje y los motores. Se calcula un índice de confianza basado en la cantidad de elementos detectados por los láseres. Si se alcanza un nivel de confianza adecuado en los datos, se actualiza la posición. Este modo se utiliza especialmente cuando el robot se mueve por debajo de la aeronave. ^{[ A 4 ]}

Para la localización visual, el robot estima su posición relativa a la aeronave utilizando elementos visuales (puertas, ventanas, neumáticos, puertos estáticos, etc.) de la misma. Durante la evolución del robot, estos elementos visuales se extraen de un modelo virtual tridimensional de la aeronave y se proyectan en el plano de imagen de las cámaras. Las formas proyectadas se utilizan para el reconocimiento de patrones con el fin de detectar dichos elementos visuales. ^{[ A 5 ]} El otro método de detección utilizado se basa en la extracción de características mediante un enfoque de características robustas aceleradas (SURF). Se realiza un emparejamiento entre las imágenes de cada elemento a detectar y la escena real experimentada. ^{[ A 1 ]}

Al detectar y rastrear puntos de referencia visuales, además de estimar su posición relativa a la aeronave, el robot puede realizar un servocontrol visual . ^{[ A 6 ]} También se lleva a cabo investigación en visión sobre localización y mapeo simultáneos (SLAM). ^{[ A 7 ] [ A 8 ]} Se está considerando una fusión de información entre los dos métodos de adquisición y visión láser. También se está considerando la inteligencia artificial para arbitrar diversas ubicaciones. ^{[ A 4 ] [ A 1 ]}

En ambos modos de navegación, Air-Cobot también es capaz de detectar, rastrear, identificar y evitar obstáculos que se encuentren en su camino. Los datos láser de los sensores de distancia láser y los datos visuales de las cámaras se pueden utilizar para la detección, el monitoreo y la identificación de los obstáculos. La detección y el monitoreo son mejores con los datos láser bidimensionales, mientras que la identificación es más sencilla con las imágenes de las cámaras; ambos métodos son complementarios. La información de los datos láser se puede utilizar para delimitar las áreas de trabajo en la imagen. ^{[ A 6 ] [ A 9 ] [ A 10 ]}

El robot tiene varias respuestas posibles ante cualquier obstáculo. Estas dependerán de su entorno (corredor de navegación, área de asfalto sin muchos obstáculos, entorno interior desordenado, etc.) en el momento del encuentro con un obstáculo. Puede detenerse y esperar un hueco en el tráfico, o evitar un obstáculo mediante una técnica basada en espiral, o realizar trayectorias de planificación de ruta . ^{[ A 6 ] [ A 10 ]}

Dado el número de algoritmos de navegación que calculan simultáneamente para proporcionar toda la información en tiempo real, se ha llevado a cabo una investigación para mejorar el tiempo de cálculo de algunos métodos numéricos utilizando matrices de puertas programables en campo (FPGA) . ^{[ A 11 ] [ A 12 ] [ A 13 ]} La investigación se centró en la percepción visual. La primera parte se centró en la localización y el mapeo simultáneos con un filtro de Kalman extendido que estima el estado de un sistema dinámico a partir de una serie de mediciones ruidosas o incompletas. ^{[ A 11 ] [ A 13 ]} La segunda se centró en la localización y la detección de obstáculos. ^{[ A 12 ]}

Tras posicionarse para realizar una inspección visual, el robot realiza una adquisición con una cámara de giro, inclinación y zoom . Se llevan a cabo varios pasos: apuntar la cámara, detectar el elemento a inspeccionar, si es necesario, reapuntar y hacer zoom con la cámara, adquisición de imagen e inspección. El análisis de imágenes se utiliza en puertas para determinar si están abiertas o cerradas; en la presencia o ausencia de protección para ciertos equipos; el estado de las palas del turbofán o el desgaste de los neumáticos del tren de aterrizaje . ^{[ A 14 ] [ A 15 ] [ A 16 ] [ A 17 ]}

La detección utiliza el reconocimiento de patrones de formas regulares (rectángulos, círculos, elipses). Para formas más complejas, se puede proyectar el modelo 3D del elemento a inspeccionar en el plano de la imagen. La evaluación se basa en índices como la uniformidad de las regiones segmentadas, la convexidad de sus formas o la periodicidad de la intensidad de los píxeles de la imagen. ^{[ A 14 ]}

La extracción de características mediante características robustas aceleradas (SURF) también permite inspeccionar ciertos elementos con dos estados posibles, como sondas Pitot o puertos estáticos cubiertos o descubiertos. Se realiza un emparejamiento entre las imágenes del elemento a inspeccionar en diferentes estados y las presentes en la escena. Para estos elementos sencillos, es posible y preferible realizar un análisis durante la navegación, ya que ahorra tiempo. ^{[ A 1 ] [ A 18 ]}

Tras posicionarse para realizar una inspección por escaneo, el pantógrafo eleva el escáner 3D en el fuselaje. Una unidad de giro e inclinación mueve el dispositivo de escaneo para capturar el casco. Al comparar los datos adquiridos con el modelo tridimensional de la aeronave, los algoritmos pueden diagnosticar cualquier falla en la estructura del fuselaje y proporcionar información sobre su forma, tamaño y profundidad. ^{[ 15 ] [ A 19 ] [ A 20 ]}

Al mover las unidades de giro e inclinación de los telémetros láser, también es posible obtener una nube de puntos en tres dimensiones. El reajuste técnico entre el modelo de la aeronave y la nube de puntos de la escena ya se utiliza en la navegación para estimar la posición estática del robot. Se prevé realizar adquisiciones dirigidas, más sencillas en términos de movimiento, para verificar la ausencia de calzos delante de las ruedas del tren de aterrizaje o el correcto cierre de los pestillos de la cubierta del motor . ^{[ A 4 ]}

El robot de inspección del proyecto europeo Robair, financiado entre 2001 y 2003, está diseñado para montarse en las alas y el fuselaje de una aeronave e inspeccionar filas de remaches. Para desplazarse, el robot utiliza una red flexible de ventosas neumáticas ajustables a la superficie. Puede inspeccionar las líneas de remaches mediante ondas ultrasónicas , corrientes de Foucault y técnicas termográficas . Detecta remaches sueltos y grietas. ^{[ 16 ] [ 17 ] [ 18 ]}

La aerolínea EasyJet está interesada en la inspección de aeronaves con drones. Realizó su primera inspección en 2015. Equipado con sensores láser y una cámara de alta resolución, el dron realiza un vuelo autónomo alrededor del avión. Genera una imagen tridimensional de la aeronave y la transmite a un técnico. El operador puede entonces navegar en esta representación y hacer zoom para mostrar una imagen de alta resolución de algunas partes de la aeronave. El operador debe entonces diagnosticar visualmente la presencia o ausencia de defectos. Este método evita el uso de plataformas para observar las partes superiores del avión. ^{[ 19 ]}

Fundada en 2015, Donecle , una empresa emergente de Toulouse, también ha lanzado un enfoque con drones que inicialmente se especializaba en la detección de impactos de rayos en aviones. ^{[ 20 ] [ 21 ]} Realizada por cinco personas equipadas con arneses y plataformas, esta inspección suele durar unas ocho horas. La inmovilización de la aeronave y del personal resulta costosa para las aerolíneas, estimada en 10 000 dólares por hora. La solución propuesta por la empresa emergente dura veinte minutos. ^{[ 21 ]}

Donecle utiliza un enjambre de drones equipados con sensores láser y microcámaras. Los algoritmos para la detección automática de defectos, entrenados con una base de datos de imágenes existente mediante un software de aprendizaje automático , son capaces de identificar diversos elementos: irregularidades de textura, sondas Pitot , remaches, aberturas, texto, defectos, corrosión y manchas de aceite. Se envía un informe de daños al panel táctil del operador con cada área de interés y la clasificación propuesta con un porcentaje de probabilidad . Tras revisar las imágenes, un inspector cualificado emite el veredicto. ^{[ 21 ]}