Articulo de referencia

evento virtual

Un dispositivo virtual es una superposición de información sensorial aumentada sobre la percepción que tiene el usuario de un entorno real, con el fin de mejorar el rendimiento ...

Un dispositivo virtual es una superposición de información sensorial aumentada sobre la percepción que tiene el usuario de un entorno real, con el fin de mejorar el rendimiento humano en tareas manipuladas tanto de forma directa como remota . [ 1 ] Desarrollado a principios de la década de 1990 por Louis Rosenberg en el Laboratorio de Investigación de la Fuerza Aérea de los Estados Unidos (AFRL) , Virtual Fixtures fue una plataforma pionera en tecnologías de realidad virtual y realidad aumentada .

Historia

Virtual Fixtures fue desarrollado por primera vez por Louis Rosenberg en 1992 en los Laboratorios Armstrong de la USAF , dando como resultado el primer sistema de realidad aumentada inmersiva jamás construido. [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] Debido a que los gráficos 3D eran demasiado lentos a principios de la década de 1990 para presentar una realidad aumentada fotorrealista y espacialmente registrada, Virtual Fixtures utilizó dos robots físicos reales, controlados por un exoesqueleto completo de la parte superior del cuerpo que llevaba el usuario. Para crear la experiencia inmersiva para el usuario, se empleó una configuración óptica única que involucraba un par de lupas binoculares alineadas de manera que la vista del usuario de los brazos del robot se adelantara para que apareciera registrada en la ubicación exacta de los brazos físicos reales del usuario. [ 2 ] [ 7 ] [ 5 ] El resultado fue una experiencia inmersiva espacialmente registrada en la que el usuario movía sus brazos, mientras veía los brazos del robot en el lugar donde deberían estar sus brazos. El sistema también empleó superposiciones virtuales generadas por computadora en forma de barreras físicas simuladas, campos y guías, diseñadas para ayudar al usuario mientras realiza tareas físicas reales. [ 8 ] [ 9 ] [ 3 ] [ 10 ] [ 11 ] [ 12 ]

Las pruebas de rendimiento de la Ley de Fitts se realizaron en grupos de sujetos de prueba humanos, demostrando por primera vez que se podía lograr una mejora significativa en el rendimiento humano de tareas diestras del mundo real al proporcionar superposiciones inmersivas de realidad aumentada a los usuarios. [ 5 ] [ 13 ]

Concepto

Dispositivos virtuales, tal como se conceptualizaron en el sistema de 1992.
Dispositivos virtuales: Se utilizan para mejorar el rendimiento del operador en el control telerrobótico de la tarea de tablero perforado de la Ley de Fitts.

El concepto de accesorios virtuales se introdujo por primera vez [ 2 ] como una superposición de información sensorial virtual sobre un espacio de trabajo para mejorar el rendimiento humano en tareas manipuladas de forma directa y remota. Estas superposiciones sensoriales virtuales pueden presentarse como estructuras físicamente realistas, registradas en el espacio de tal manera que el usuario las percibe como plenamente presentes en el entorno real del espacio de trabajo. También pueden ser abstracciones con propiedades imposibles para las estructuras físicas reales. El concepto de superposiciones sensoriales es difícil de visualizar y describir, por lo que se introdujo la metáfora del accesorio virtual. Para comprender qué es un accesorio virtual, se suele utilizar una analogía con un accesorio físico real, como una regla. Una tarea sencilla como trazar una línea recta a mano alzada en un papel es algo que la mayoría de las personas no pueden realizar con precisión y rapidez. Sin embargo, el uso de un dispositivo simple como una regla permite realizar la tarea rápidamente y con buena precisión. El uso de una regla ayuda al usuario guiando el lápiz a lo largo de ella, reduciendo el temblor y la carga mental, lo que aumenta la calidad de los resultados.

Los dispositivos virtuales utilizados en la cirugía con realidad aumentada permiten una mayor destreza quirúrgica.

Cuando se propuso el concepto de Dispositivo Virtual a la Fuerza Aérea de los EE. UU. en 1991, la cirugía aumentada fue un ejemplo de caso de uso, ampliando la idea de una regla virtual que guiaba un lápiz real a un dispositivo médico virtual que guiaba un bisturí físico real manipulado por un cirujano real. [ 2 ] El objetivo era superponer contenido virtual sobre la percepción directa del cirujano del espacio de trabajo real con suficiente realismo como para que se percibiera como una adición auténtica al entorno quirúrgico y, por lo tanto, mejorara la habilidad, la destreza y el rendimiento quirúrgicos. Una ventaja propuesta de los dispositivos médicos virtuales en comparación con el hardware real era que, al ser adiciones virtuales a la realidad ambiental, podían sumergirse parcialmente dentro de pacientes reales, proporcionando guía y/o barreras dentro de los tejidos no expuestos. [ 14 ] [ 2 ] [ 15 ]

La definición de accesorios virtuales [ 2 ] [ 7 ] [ 9 ] es mucho más amplia que simplemente proporcionar guía al efector final. Por ejemplo, los accesorios virtuales auditivos se utilizan para aumentar la percepción del usuario al proporcionar pistas de audio que lo ayudan a localizar el efector final mediante señales multimodales. Sin embargo, en el contexto de los sistemas de colaboración hombre-máquina, el término accesorios virtuales se usa a menudo para referirse a una ayuda virtual dependiente de la tarea que se superpone a un entorno real y guía el movimiento del usuario en las direcciones deseadas, evitando el movimiento en direcciones o regiones no deseadas del espacio de trabajo.

Los puntos de referencia virtuales pueden ser puntos de referencia virtuales de guía o puntos de referencia virtuales de regiones prohibidas . Un punto de referencia virtual de regiones prohibidas podría utilizarse, por ejemplo, en un entorno teleoperado donde el operador debe conducir un vehículo en un sitio remoto para lograr un objetivo. Si existen fosos en el sitio remoto que podrían ser peligrosos para el vehículo, se podrían definir regiones prohibidas en las distintas ubicaciones de los fosos, impidiendo así que el operador emita comandos que provoquen que el vehículo termine en uno de ellos. [ 16 ] [ 17 ] [ 18 ]

Ejemplo de un dispositivo virtual de regiones prohibidas

Un operador podría enviar fácilmente comandos ilegales debido, por ejemplo, a retrasos en el bucle de teleoperación , a una telepresencia deficiente o a otras razones.

Un ejemplo de un dispositivo virtual de guía podría ser cuando el vehículo debe seguir una trayectoria determinada,

Ejemplo de un accesorio virtual de guía

De este modo, el operador puede controlar el avance en la dirección preferida, mientras que el movimiento en la dirección no preferida queda restringido.

Con las regiones prohibidas y los dispositivos virtuales de guía, se puede ajustar la rigidez , o su inverso, la flexibilidad , del dispositivo. Si la flexibilidad es alta (rigidez baja), el dispositivo es blando . Por otro lado, cuando la flexibilidad es cero (rigidez máxima), el dispositivo es duro .

La rigidez de un soporte virtual puede ser flexible o rígida. Un soporte rígido restringe completamente el movimiento al soporte, mientras que un soporte flexible permite ciertas desviaciones.

Ley de control de instalaciones virtuales

Esta sección describe cómo se puede derivar una ley de control que implementa fijaciones virtuales. Se supone que el robot es un dispositivo puramente cinemático con posición del efector final.pag=[incógnita,y,z]{\displaystyle \mathbf {p} =\left[x,y,z\right]}y orientación del efector finalr=[rincógnita,ry,rz]{\displaystyle \mathbf {r} =\left[r_{\textrm {x}},r_{\textrm {y}},r_{\textrm {z}}\right]}expresado en el marco base del robotFr{\displaystyle F_{\textrm {r}}}La señal de control de entrada{\displaystyle \mathbf {u} }Se supone que la velocidad del efector final es la deseada para el robot.v=incógnita˙=[pag˙,r˙]{\displaystyle \mathbf {v} ={\dot {\mathbf {x} }}=\left[{\dot {\mathbf {p} }},{\dot {\mathbf {r} }}\right]}En un sistema teleoperado, a menudo resulta útil ajustar la velocidad de entrada desde el operador.voperación{\displaystyle \mathbf {v} _{\textrm {op}}}antes de enviarlo al controlador del robot. Si la entrada del usuario es de otra forma, como una fuerza o una posición, primero debe transformarse en una velocidad de entrada, por ejemplo, mediante escalado o derivación.

Por lo tanto, la señal de control{\displaystyle \mathbf {u} }se calcularía a partir de la velocidad de entrada del operador.voperación{\displaystyle \mathbf {v} _{\textrm {op}}}como:

=dovoperación{\displaystyle \mathbf {u} =c\cdot \mathbf {v} _{\textrm {op}}}

Sido=1{\displaystyle c=1}Existe una correspondencia uno a uno entre el operador y el robot esclavo.

Si la constantedo{\displaystyle c}se reemplaza por una matriz diagonaldo{\displaystyle \mathbf {C} }es posible ajustar el cumplimiento de forma independiente para diferentes dimensiones deincógnita˙{\displaystyle {\dot {\mathbf {x} }}}. Por ejemplo, colocar los tres primeros elementos en la diagonal dedo{\displaystyle \mathbf {C} }ado{\displaystyle c}y todos los demás elementos a cero darían como resultado un sistema que solo permite el movimiento de traslación y no la rotación. Este sería un ejemplo de una fijación virtual rígida que restringe el movimiento desdeincógnitaR6{\displaystyle \mathbf {x} \in \mathbb {R} ^{6}}a pagR3{\displaystyle \mathbf {p} \in \mathbb {R} ^{3}}Si el resto de los elementos de la diagonal se establecieran en un valor pequeño, en lugar de cero, el dispositivo sería flexible, permitiendo cierto movimiento en las direcciones de rotación.

Para expresar restricciones más generales, supongamos una matriz que varía con el tiempo.D(t)R6×norte, norte[1..6]{\displaystyle \mathbf {D} (t)\in \mathbb {R} ^{6\times n},~n\in [1..6]}que representa la dirección preferida en el momentot{\displaystyle t}. Por lo tanto, sinorte=1{\displaystyle n=1}La dirección preferida es a lo largo de una curva enR6{\displaystyle \mathbb {R} ^{6}}. Asimismo,norte=2{\displaystyle n=2}daría direcciones preferidas que abarquen una superficie. DesdeD{\displaystyle \mathbf {D} }Se pueden definir dos operadores de proyección, [ 19 ] el espacio generado y el núcleo del espacio columna:

Durar(D)[D]=D(DTD)1DTNúcleo(D)D=I[D]{\displaystyle {\begin{aligned}{\textrm {Span}}(\mathbf {D} )&\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{-1}\mathbf {D} ^{T}\\{\textrm {Kernel}}(\mathbf {D} )&\equiv \langle \mathbf {D} \rangle =\mathbf {I} -\left[\mathbf {D} \right]\end{aligned}}}

SiD{\displaystyle \mathbf {D} }no tiene rango de columna completo, por lo que no se puede calcular el intervalo, en consecuencia es mejor calcular el intervalo usando la pseudoinversa, [ 19 ] así que en la práctica el intervalo se calcula como:

Durar(D)[D]=D(DTD)DT{\displaystyle {\textrm {Span}}(\mathbf {D} )\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{\dagger }\mathbf {D} ^{T}}

dóndeD{\displaystyle \mathbf {D} ^{\dagger }}denota la pseudoinversa deD{\displaystyle \mathbf {D} }.

Si la velocidad de entrada se divide en dos componentes como:

vD[D]voperación~y~vτvoperaciónvD=Dvoperación${\displaystyle \mathbf {v} _{\textrm {D}}\equiv \left[\mathbf {D} \right]\mathbf {v} _{\textrm {op}}{\textrm {~y~}}\mathbf {v} _{\tau }\equiv \mathbf {v} _{\textrm {op}}-\mathbf {v} _{\textrm {D}}=\langle \mathbf {D} \rangle \mathbf {v} _{\textrm {op}}}$

Es posible reescribir la ley de control como:

v=dovoperación=do(vD+vτ){\displaystyle \mathbf {v} =c\cdot \mathbf {v} _{\textrm {op}}=c\left(\mathbf {v} _{\textrm {D}}+\mathbf {v} _{\tau }\right)}

A continuación, introduzca una nueva condición de cumplimiento que afecte únicamente al componente no preferido de la entrada de velocidad y escriba la ley de control final como:

v=do(vD+doτvτ)=do([D]+doτD)voperación{\displaystyle \mathbf {v} =c\left(\mathbf {v} _{\textrm {D}}+c_{\tau }\cdot \mathbf {v} _{\tau }\right)=c\left(\left[\mathbf {D} \right]+c_{\tau }\langle \mathbf {D} \rangle \right)\mathbf {v} _{\textrm {op}}}

Referencias

  1. Rosenberg, Louis B. (2022). «Realidad aumentada: Reflexiones a los treinta años» . En Arai, Kohei (ed.). Actas de la Conferencia de Tecnologías del Futuro (FTC) 2021, Volumen 1. Lecture Notes in Networks and Systems. Vol.  358. Cham: Springer International Publishing. pp. 1–11 . doi : 10.1007/978-3-030-89906-6_1 . ISBN  978-3-030-89906-6.
  2. 1 2 3 4 5 6 L. B. Rosenberg (1992). "El uso de accesorios virtuales como superposiciones perceptuales para mejorar el rendimiento del operador en entornos remotos" (PDF) . Informe técnico AL-TR-0089 . Base de la Fuerza Aérea Wright-Patterson, OH: Laboratorio Armstrong de la USAF. Archivado (PDF) del original el 10 de julio de 2019.
  3. 1 2 Rosenberg, LB (1993). "Dispositivos virtuales: herramientas perceptivas para la manipulación telerrobótica". Actas del Simposio Internacional Anual de Realidad Virtual del IEEE . IEEE. págs. 76–82 . doi : 10.1109/vrais.1993.380795 . ISBN  0-7803-1363-1.
  4. Rosenberg, Louis (1993). "El uso de accesorios virtuales para mejorar la telemanipulación con retardo de tiempo". Actas de la Reunión Anual de Invierno de la ASME sobre Avances en Robótica, Mecatrónica e Interfaces Hápticas . 49. Nueva Orleans, LA: 29–36 .
  5. 1 2 3 Rosenberg, Louis (1993). "El uso de dispositivos virtuales para mejorar el rendimiento del operador en la teleoperación con retardo de tiempo" (PDF) . J. Dyn. Syst. Control . 49 : 29–36 . Archivado (PDF) del original el 10 de julio de 2019.
  6. Noer, Michael (1998-09-21). "Huellas dactilares del escritorio" . Forbes . Consultado el 22 de abril de 2014 .
  7. 1 2 Rosenberg, L. (1993). Kim, Won S. (ed.). "Dispositivos virtuales como herramientas para mejorar el rendimiento del operador en entornos de telepresencia". SPIE Tecnología de manipuladores . Tecnología de telemanipuladores y telerrobótica espacial. 2057 : 10. Bibcode : 1993SPIE.2057...10R . doi : 10.1117/12.164901 . S2CID 111277519 . 
  8. Abbott, Jake J.; Marayong, Panadda; Okamura, Allison M. (2007). "Haptic Virtual Fixtures for Robot-Assisted Manipulation" . En Thrun, Sebastian; Brooks, Rodney; Durrant-Whyte, Hugh (eds.). Robotics Research . Springer Tracts in Advanced Robotics. Vol. 28. Berlín, Heidelberg: Springer. pp. 49–64 . doi : 10.1007/978-3-540-48113-3_5 . ISBN   978-3-540-48113-3.
  9. 1 2 Rosenberg (1994). Das, Hari (ed.). "Las superposiciones hápticas virtuales mejoran el rendimiento en tareas de telepresencia". Telemanipulator and Telepresence Technologies . 2351 : 99–108 . doi : 10.1117/12.197302 . S2CID 110971407 . 
  10. Makhataeva, Zhanat; Varol, Huseyin Atakan (2020). "Realidad aumentada para robótica: una revisión" . Robótica . 9 (2): 21. doi : 10.3390/robotics9020021 . ISSN 2218-6581 . 
  11. Leonard, Simon (2015). "Registro de accesorios virtuales planares mediante realidad aumentada con texturas dinámicas". 2015 IEEE International Conference on Robotics and Automation (ICRA) . Seattle, WA, EE. UU.: IEEE. pp. 4418–4423 . doi : 10.1109/ICRA.2015.7139810 . ISBN  978-1-4799-6923-4. S2CID 16744811 . 
  12. Xia, Tian; Léonard, Simon; Deguet, Anton; Whitcomb, Louis; Kazanzides, Peter (2012). «Entorno de realidad aumentada con accesorios virtuales para telemanipulación robótica en el espacio» . 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems . pp. 5059–5064 . doi : 10.1109/IROS.2012.6386169 . ISBN  978-1-4673-1736-8. S2CID 2708501 . 
  13. Rosenberg, Louis B. (1993). Kim, Won S. (ed.). "Dispositivos virtuales como herramientas para mejorar el rendimiento del operador en entornos de telepresencia". Telemanipulator Technology and Space Telerobotics . 2057 : 10–21 . Bibcode : 1993SPIE.2057...10R . doi : 10.1117/12.164901 . S2CID 111277519 . 
  14. Rosenberg, LB (1992). "El uso de dispositivos virtuales como superposiciones perceptivas para mejorar el desempeño del operador". Universidad de Stanford, Stanford, CA, Centro de Investigación de Diseño (CDR).
  15. Yamamoto, Tomonori; Abolhassani, Niki; Jung, Sung; Okamura, Allison M. ; Judkins, Timothy N. (2011-11-08). "Realidad aumentada e interfaces hápticas para cirugía asistida por robot" . The International Journal of Medical Robotics and Computer Assisted Surgery . 8 (1): 45– 56. doi : 10.1002/rcs.421 . ISSN 1478-5951 . PMID 22069247 . S2CID 1603125 .   
  16. Abbott, JJ; Okamura, AM (2003). «Arquitecturas de accesorios virtuales para telemanipulación». 2003 IEEE International Conference on Robotics and Automation (Cat. No.03CH37422) . Vol. 2. Taipéi, Taiwán: IEEE. pp. 2798–2805 . doi : 10.1109/ROBOT.2003.1242016 . ISBN   978-0-7803-7736-3. S2CID 8678829 . 
  17. Marayong, Panadda; Hager, Gregory D.; Okamura, Allison M. (2008). "Métodos de control para la guía de dispositivos virtuales en interfaces hombre-máquina flexibles". Conferencia Internacional IEEE/RSJ de 2008 sobre Robots y Sistemas Inteligentes . págs. 1166–1172 . doi : 10.1109/IROS.2008.4650838 . ISBN  978-1-4244-2057-5. S2CID 6828466 . 
  18. Marayong, P.; Hager, GD; Okamura, AM (2006). "Efecto de la dinámica de la mano en los dispositivos virtuales para interfaces hombre-máquina adaptables". 14.º Simposio de 2006 sobre Interfaces Hápticas para Entornos Virtuales y Sistemas de Teleoperación . Alexandria, VA, EE. UU.: IEEE. págs. 109–115 . doi : 10.1109/HAPTIC.2006.1627075 . ISBN  978-1-4244-0226-7.
  19. 1 2 Marayong, P.; Okamura, AM ; Hager, GD (2003). "Restricciones de movimiento espacial: teoría y demostraciones para la guía de robots mediante fijaciones virtuales". 2003 IEEE International Conference on Robotics and Automation (Cat. No.03CH37422) . IEEE. pp. 1270–1275 . doi : 10.1109/robot.2003.1241880 . ISBN  0-7803-7736-2.