Interacción humano-computadora en 3D

La interacción humano-computadora 3D se refiere a los tipos de interacción en los que los usuarios pueden moverse e interactuar en un espacio tridimensional . Tanto el usuario como la computadora procesan información donde la posición física de los elementos en el espacio 3D es relevante. Incluye la realidad virtual y la realidad aumentada .

El espacio 3D utilizado para la interacción puede ser el espacio físico real , una representación virtual simulada en la computadora o una combinación de ambos. Cuando se utiliza el espacio físico real para la entrada de datos, el usuario interactúa con la máquina realizando acciones mediante un dispositivo de entrada que detecta, entre otras cosas, la posición 3D de la interacción. Cuando se utiliza para la salida de datos, la escena virtual 3D simulada se proyecta sobre el entorno real a través de un dispositivo de salida .

Los principios de la interacción 3D se aplican en una variedad de dominios como el turismo , el arte , los juegos , la simulación , la educación , la visualización de información o la visualización científica . ^{[ 1 ]}

La investigación en interacción y visualización 3D comenzó en la década de 1960, impulsada por investigadores como Ivan Sutherland , Fred Brooks, Bob Sproull, Andrew Ortony y Richard Feldman. Pero no fue hasta 1962 cuando Morton Heilig inventó el simulador Sensorama . ^{[ 2 ]} Este proporcionaba retroalimentación de video 3D, así como movimiento, audio y retroalimentación para producir un entorno virtual.

La siguiente etapa de desarrollo fue la finalización en 1968 del trabajo pionero del Dr. Ivan Sutherland: una pantalla 3D montada en la cabeza ( pantalla 3D montada en la cabeza de Ivan Sutherland ). ^{[ 3 ]} Creó una pantalla montada en la cabeza que producía un entorno virtual 3D al presentar una imagen izquierda y derecha de dicho entorno, que se actualizaba en tiempo real mediante un dispositivo de seguimiento de la cabeza.

La disponibilidad de tecnología y los costos prohibitivos frenaron el desarrollo y la aplicación de entornos virtuales hasta la década de 1980. Sus aplicaciones se limitaban a proyectos militares en Estados Unidos. Desde entonces, la investigación y los avances tecnológicos han abierto nuevas posibilidades para su aplicación en diversos ámbitos, como la educación, el entretenimiento y la industria manufacturera.

En la interacción 3D, los usuarios realizan sus tareas y funciones intercambiando información con sistemas informáticos en un espacio tridimensional. Se trata de un tipo de interacción intuitiva, ya que los humanos interactúan en tres dimensiones en el mundo real. Las tareas que realizan los usuarios se han clasificado como selección y manipulación de objetos en el espacio virtual, navegación y control del sistema. Estas tareas pueden realizarse en el espacio virtual mediante técnicas de interacción y utilizando dispositivos interactivos. Las técnicas de interacción 3D se clasificaron según el grupo de tareas que soportan. Las técnicas que soportan tareas de navegación se clasifican como técnicas de navegación . Las técnicas que soportan la selección y manipulación de objetos se denominan técnicas de selección y manipulación . Por último, las técnicas de control del sistema soportan tareas relacionadas con el control de la propia aplicación. Es necesario establecer una correspondencia coherente y eficiente entre las técnicas y los dispositivos de interacción para que el sistema sea utilizable y eficaz. Las interfaces asociadas a la interacción 3D se denominan interfaces 3D . Al igual que otros tipos de interfaces de usuario, implican una comunicación bidireccional entre los usuarios y el sistema, pero permiten a los usuarios realizar acciones en un espacio tridimensional. Los dispositivos de entrada permiten a los usuarios dar instrucciones y comandos al sistema, mientras que los dispositivos de salida permiten a la máquina presentarles información.

Las interfaces 3D se han utilizado en aplicaciones que incluyen entornos virtuales, realidad aumentada y realidad mixta . En los entornos virtuales, los usuarios pueden interactuar directamente con el entorno o utilizar herramientas con funcionalidades específicas para ello. La interacción 3D se produce cuando se controlan herramientas físicas en un contexto espacial tridimensional para controlar una herramienta virtual correspondiente.

Los usuarios experimentan una sensación de presencia al participar en un mundo virtual inmersivo . Permitirles interactuar con este mundo en 3D les permite aprovechar su conocimiento natural e intrínseco sobre cómo se produce el intercambio de información con objetos físicos en el mundo real. La textura, el sonido y el habla pueden utilizarse para enriquecer la interacción en 3D. Actualmente, los usuarios aún tienen dificultades para interpretar las imágenes del espacio 3D y comprender cómo se produce la interacción. Si bien es natural que los humanos se muevan en un mundo tridimensional, la dificultad radica en que muchas de las señales presentes en los entornos reales no están presentes en los entornos virtuales. La percepción y la oclusión son las principales señales perceptivas que utilizan los humanos. Además, aunque las escenas en el espacio virtual parezcan tridimensionales, se muestran en una superficie 2D, por lo que seguirán existiendo algunas inconsistencias en la percepción de la profundidad.

Las interfaces de usuario son el medio de comunicación entre usuarios y sistemas. Las interfaces 3D incluyen medios para la representación tridimensional del estado del sistema y medios para la entrada o manipulación tridimensional por parte del usuario. El uso de representaciones 3D no basta para crear interacción tridimensional. Los usuarios también deben tener la posibilidad de realizar acciones en 3D. Para ello, se han desarrollado dispositivos especiales de entrada y salida que permiten este tipo de interacción. Algunos, como el ratón 3D, se desarrollaron a partir de dispositivos existentes para la interacción bidimensional.

Las interfaces de usuario 3D son aquellas donde la interacción se produce en tres dimensiones. Esto significa que las tareas del usuario se desarrollan directamente en un espacio tridimensional. El usuario debe comunicarse con el sistema mediante comandos, solicitudes, preguntas, intenciones y objetivos, y este, a su vez, debe proporcionar retroalimentación, solicitar información, comunicar su estado, etc.

Tanto el usuario como el sistema no comparten el mismo idioma; por lo tanto, para que el proceso de comunicación sea posible, las interfaces deben servir como intermediarias o traductoras entre ellos.

La forma en que el usuario transforma las percepciones en acciones se denomina función de transferencia humana, y la forma en que el sistema transforma las señales en información de visualización se denomina función de transferencia del sistema. Las interfaces de usuario 3D son, en realidad, dispositivos físicos que comunican al usuario y al sistema con la mínima latencia. En este caso, existen dos tipos: hardware de salida de la interfaz de usuario 3D y hardware de entrada de la interfaz de usuario 3D.

Los dispositivos de salida, también llamados dispositivos de visualización, permiten que la máquina proporcione información o retroalimentación a uno o más usuarios a través del sistema perceptivo humano. La mayoría se centran en estimular los sentidos visual, auditivo o táctil. Sin embargo, en algunos casos excepcionales, también pueden estimular el sistema olfativo del usuario.

Estos dispositivos de hardware se denominan dispositivos de entrada y su objetivo es capturar e interpretar las acciones realizadas en 3D por el usuario. Los grados de libertad (DOF) son una de las características principales de estos sistemas. Los componentes de interfaz clásicos (como el ratón y el teclado y posiblemente la pantalla táctil) suelen ser inadecuados para las necesidades de interacción no 2D. ^{[ 1 ]} Estos sistemas también se diferencian según la cantidad de interacción física necesaria para usar el dispositivo: los puramente activos necesitan ser manipulados para producir información, mientras que los puramente pasivos no lo necesitan. Las principales categorías de estos dispositivos son los dispositivos de entrada estándar (de escritorio), los dispositivos de seguimiento, los dispositivos de control, los equipos de navegación, las interfaces gestuales , los ratones 3D y las interfaces cerebro-computadora .

dispositivos de seguimiento 3D

Los sistemas de interacción de usuario 3D se basan principalmente en tecnologías de seguimiento de movimiento para obtener toda la información necesaria del usuario mediante el análisis de sus movimientos o gestos ; estas tecnologías se denominan tecnologías de seguimiento.

Los rastreadores detectan o monitorean los movimientos de la cabeza, las manos o el cuerpo y envían esa información a la computadora. La computadora luego la traduce y asegura que la posición y la orientación se reflejen con precisión en el mundo virtual. El seguimiento es importante para presentar el punto de vista correcto, coordinar la información espacial y sonora que se presenta a los usuarios, así como las tareas o funciones que pueden realizar. Se han identificado rastreadores 3D como mecánicos, magnéticos, ultrasónicos, ópticos e inerciales híbridos. Ejemplos de rastreadores incluyen rastreadores de movimiento , rastreadores oculares y guantes de datos. Un simple ratón 2D puede considerarse un dispositivo de navegación si permite al usuario moverse a una ubicación diferente en un espacio 3D virtual. Los dispositivos de navegación como la cinta de correr y la bicicleta utilizan las formas naturales en que los humanos se desplazan en el mundo real. Las cintas de correr simulan caminar o correr y las bicicletas o equipos similares simulan el desplazamiento vehicular. En el caso de los dispositivos de navegación, la información que se transmite a la máquina es la ubicación y los movimientos del usuario en el espacio virtual. Los guantes y trajes con cables permiten la interacción gestual. Estos dispositivos envían información sobre la posición y el movimiento de las manos o del cuerpo al ordenador mediante sensores.

Para el desarrollo completo de un sistema de interacción de usuario 3D, se requiere acceso a algunos parámetros básicos. Todo este sistema tecnológico debe conocer, o al menos parcialmente, la posición relativa del usuario, la posición absoluta, la velocidad angular, los datos de rotación, la orientación o la altura. La recopilación de estos datos se logra mediante sistemas de seguimiento espacial y sensores de diversas formas, así como mediante el uso de diferentes técnicas para su obtención. El sistema ideal para este tipo de interacción es un sistema basado en el seguimiento de la posición, utilizando seis grados de libertad (6-DOF). Estos sistemas se caracterizan por la capacidad de obtener la posición 3D absoluta del usuario, de esta manera se obtendrá información sobre todos los ángulos posibles del campo tridimensional.

La implementación de estos sistemas se puede lograr utilizando diversas tecnologías, como campos electromagnéticos, seguimiento óptico o ultrasónico, pero todas comparten la limitación principal de que deben tener una referencia externa fija, ya sea una base, un conjunto de cámaras o un conjunto de marcadores visibles, por lo que este sistema único se puede llevar a cabo en áreas preparadas. Los sistemas de seguimiento inercial no requieren una referencia externa como los basados ​​en el movimiento, se basan en la recopilación de datos utilizando acelerómetros , giroscopios o cámaras de video, sin una referencia fija obligatoria, en la mayoría de los casos, el principal problema de este sistema se basa en no obtener la posición absoluta, ya que no forma parte de ningún punto de referencia externo preestablecido, por lo que siempre obtiene la posición relativa del usuario, aspecto que causa errores acumulativos en el proceso de muestreo de datos. El objetivo a alcanzar en un sistema de seguimiento 3D se basaría en obtener un sistema de 6 grados de libertad capaz de lograr un posicionamiento absoluto y una precisión de movimiento y orientación, con una precisión y un espacio sin cortar muy altos. Un buen ejemplo de una situación aproximada sería un teléfono móvil, ya que tiene todos los sensores de captura de movimiento y también el seguimiento GPS de latitud, pero actualmente estos sistemas no son lo suficientemente precisos como para capturar datos con una precisión de centímetros y, por lo tanto, serían inválidos.

Sin embargo, existen varios sistemas que se adaptan estrechamente a los objetivos perseguidos; el factor determinante para ellos es que son sistemas autocontenidos, es decir, todo en uno y no requieren una referencia previa fija. Estos sistemas son los siguientes:

Mando a distancia de Nintendo Wii ("Wiimote")

El mando de Wii no cuenta con tecnología de 6 grados de libertad (6-DOF). Sin embargo, está equipado con multitud de sensores, lo que lo convierte en una excelente herramienta de interacción en entornos 3D. Dispone de giroscopios para detectar la rotación del usuario, acelerómetros ADXL3000 para obtener la velocidad y el movimiento de las manos, sensores ópticos para determinar la orientación y brújulas electrónicas y sensores infrarrojos para capturar la posición.

Este tipo de dispositivo puede verse afectado por referencias externas de bombillas o velas infrarrojas , lo que provoca errores en la precisión de la posición.

Dispositivos Google Tango

La plataforma Tango es una plataforma informática de realidad aumentada, desarrollada y creada por Advanced Technology and Projects (ATAP), una división de proyectos innovadores de Google. Utiliza visión artificial y sensores internos (como giroscopios) para permitir que dispositivos móviles, como teléfonos inteligentes y tabletas, detecten su posición relativa al entorno sin necesidad de GPS ni otras señales externas. Por lo tanto, puede utilizarse para proporcionar entrada de 6 grados de libertad (6-DOF). ^{[ 9 ]} Los dispositivos Google Tango pueden considerarse soluciones más integradas que los primeros prototipos que combinaban dispositivos con seguimiento espacial y pantallas táctiles para entornos 3D. ^{[ 10 ] [ 11 ] [ 12 ]}

Microsoft Kinect

El dispositivo Microsoft Kinect nos ofrece una tecnología de captura de movimiento diferente para el seguimiento.

En lugar de basar su funcionamiento en sensores, este sistema se basa en un escáner de luz estructurada , ubicado en una barra, que permite el seguimiento de todo el cuerpo mediante la detección de unos 20 puntos espaciales, de los cuales se miden 3 grados de libertad diferentes para obtener la posición, la velocidad y la rotación de cada punto.

Su principal ventaja es la facilidad de uso y que no requiere que el usuario conecte ningún dispositivo externo, mientras que su principal desventaja radica en la incapacidad de detectar la orientación del usuario, lo que limita ciertas funciones de orientación y desplazamiento.

Leap Motion

Leap Motion es un sistema de seguimiento de manos diseñado para espacios reducidos, que permite una nueva interacción en entornos 3D para aplicaciones de escritorio. Ofrece una gran fluidez al navegar por entornos tridimensionales de forma realista. Es un pequeño dispositivo que se conecta mediante USB a un ordenador y utiliza dos cámaras con LED de luz infrarroja, lo que permite analizar un área hemisférica de aproximadamente 1 metro de superficie. Registra las respuestas a 300 fotogramas por segundo y envía la información al ordenador para su procesamiento mediante el software específico de la empresa.

Las técnicas de interacción 3D son las diferentes maneras en que el usuario puede interactuar con el entorno virtual 3D para realizar diversas tareas. La calidad de estas técnicas influye profundamente en la calidad de la interfaz de usuario 3D en su conjunto. Se pueden clasificar en tres grupos: navegación, selección y manipulación, y control del sistema.

• Seguimiento de dedos
• Técnica de interacción
• Diseño de interacción
• Entorno Virtual Automático de Cueva (CAVE)
• Ley de Fitts

Lista de lectura

1. Interacción 3D con y desde ordenadores de mano. Visita realizada el 28 de marzo de 2008.
2. Bowman, D., Kruijff, E., LaViola, J., Poupyrev, I. (2001, febrero). Una introducción al diseño de interfaces de usuario 3D . Presence, 10(1), 96–108.
3. Bowman, D., Kruijff, E., LaViola, J., Poupyrev, I. (2005). Interfaces de usuario 3D: Teoría y práctica. Boston: Addison–Wesley.
4. Bowman, Doug. Interfaces de usuario 3D . Interaction Design Foundation . Consultado el 15 de octubre de 2015.
5. Burdea, GC, Coiffet, P. (2003). Tecnología de realidad virtual (2.ª ed.). Nueva Jersey: John Wiley & Sons Inc.
6. Carroll, JM (2002). Interacción persona-ordenador en el nuevo milenio. Nueva York: ACM Press
7. Csisinko, M., Kaufmann, H. (2007, marzo). Hacia una implementación universal de técnicas de interacción de usuario 3D [Actas del taller sobre especificación, creación y adaptación de interfaces de usuario de realidad mixta, IEEE VR]. Charlotte, Carolina del Norte, EE. UU.
8. Fröhlich, B.; Plate, J. (2000). "El ratón cúbico: un nuevo dispositivo para la entrada 3D". Actas de ACM CHI 2000. Nueva York: ACM Press. págs. 526–531 . doi : 10.1145/332040.332491 . 
9. Técnicas de Interacción . DLR - Simulaciones y Softwaretechnik . Consultado el 18 de octubre de 2015.
10. Keijser, J.; Carpendale, S.; Hancock, M.; Isenberg, T. (2007). "Explorando la interacción 3D en mapeos alternativos de espacio de control-visualización" (PDF) . Actas del 2.º Simposio IEEE sobre interfaces de usuario 3D . Los Alamitos, CA: IEEE Computer Society. págs. 526–531 . 
11. Larijani, LC (1993). Introducción a la realidad virtual. Estados Unidos de América: RR Donnelley and Sons Company.
12. Rhijn, A. van (2006). Dispositivos de entrada configurables para interacción 3D mediante seguimiento óptico . Eindhoven: Universidad Técnica de Eindhoven.
13. Stuerzlinger, W., Dadgari, D., Oh, JY. (2006, abril). Técnicas de movimiento de objetos basadas en la realidad para 3D. Taller CHI 2006: "¿Cuál es la próxima generación de interacción humano-computadora?". Presentación del taller.
14. La CAVE (Entorno Virtual Automático CAVE). Visitado el 28 de marzo de 2007.
15. El entorno virtual interactivo (CAVE) con tecnología Java 3D en el Centro de Excelencia Sun para la Genómica Visual. Visita realizada el 28 de marzo de 2007.
16. Vince, J. (1998). Realidad virtual esencial rápida. Gran Bretaña: Springer-Verlag London Limited
17. Realidad virtual. Visita realizada el 28 de marzo de 2007.
18. Yuan, C., (2005, diciembre). Interacción 3D fluida en RA: un enfoque basado en la visión. En Actas del Primer Simposio Internacional, ISVC (págs.  321–328). Lake Tahoe, NV, EE. UU.: Springer Berlin/Heidelberg.

• Bibliografía sobre interacción 3D y entrada espacial
• El inventor de la interfaz de ventana 3D (1998) Archivado el 3 de julio de 2020 en Wayback Machine
• Grupo 3DI
• Interacción 3D en entornos virtuales