Shumin Zhai

En 2003, el Dr. Zhai y Per Ola Kristensson propusieron un método de escritura rápida para la computación basada en lápiz, SHARK (shorthand aided rapid keyboarding), que aumenta la escritura con lápiz óptico con gestos taquigráficos. SHARK define un símbolo taquigráfico para cada palabra según su patrón de movimiento en un teclado con lápiz óptico optimizado. ^{[ 10 ]} En 2004, presentaron SHARK ² que aumentó la precisión del reconocimiento y relajó los requisitos de precisión al usar la forma y la ubicación de los gestos además de modelos de lenguaje basados ​​en el contexto. ^{[ 11 ]} Al hacerlo, el Dr. Zhai y Kristensson proporcionaron un paradigma de escritura gestual en pantalla táctil ^{[ 12 ]} como un método eficiente para la entrada de texto que ha seguido impulsando el desarrollo de la entrada de texto móvil en toda la industria. ^{[ 4 ]} Una de las razones más importantes de los teclados gestuales es facilitar la transición de la guía visual principal letra por letra a los gestos impulsados ​​por la recuperación de la memoria. ^{[ 13 ]} Al lanzar el primer teclado de palabras por gestos en 2004 a través de IBM AlphaWorks y una aplicación para iPhone de alto nivel llamada ShapeWriter WritingPad en 2008, ^{[ 14 ]} el Dr. Zhai y sus colegas pudieron facilitar esta transición y llevar la invención del laboratorio a los usuarios del mundo real. ^{[ 15 ]}

Una de las principales líneas de investigación del Dr. Zhai en Interacción Persona -Computadora (HCI) se centra en los modelos de desempeño humano basados ​​en la ley de Fitts . Desde 1996, el Dr. Zhai, junto con sus colegas, ha investigado las "Leyes de la Acción", buscando desarrollar el espíritu de la ley de Fitts . En el contexto de la HCI , la ley de Fitts puede considerarse la "Ley del Señalamiento", si bien consideran que existen otras regularidades sólidas en el desempeño humano durante la acción. Las dos nuevas clases de acciones relevantes para el diseño y la evaluación de interfaces de usuario que han explorado son el cruce y la dirección. ^{[ 16 ]}

• "Ley de Apuntado": Refinamiento de los modelos de la ley de Fitts para el apuntado bivariado, 2003 ^{[ 17 ]}
• "Ley de Dirección": Leyes de Acción Humana en Mundos Virtuales Electrónicos - un estudio empírico del rendimiento de la dirección de trayectoria en RV, 2004 ^{[ 18 ]}
• "Ley de cruce": Fundamentos para el diseño y la evaluación de interfaces de usuario basadas en el paradigma de cruce, 2010 ^{[ 19 ]}
• Modelado del desempeño humano de gestos de trazo de pluma, 2007 ^{[ 20 ]}
• Ley de Fitts: modelado del tacto de los dedos con la ley de Fitts, 2013 ^{[ 21 ]}
• Modelado de movimientos de tipificación gestual, 2018 ^{[ 22 ]}

El Dr. Zhai comenzó a trabajar con sistemas de entrada de múltiples grados de libertad (GDL) durante sus estudios de posgrado en la Universidad de Toronto . En su tesis doctoral , examinó sistemáticamente el rendimiento humano en función de las variaciones de diseño de un dispositivo de control de 6 GDL, tales como la resistencia de control (isométrica, elástica e isotónica), la función de transferencia (control de posición frente a control de velocidad), los grupos musculares utilizados y el formato de visualización. Investigó la capacidad de las personas para coordinar múltiples grados de libertad, basándose en tres métodos de cuantificación: tiempo simultáneo en el objetivo, correlación de errores y eficiencia.

El Dr. Zhai ha participado en dos aplicaciones sobre interfaces de usuario aumentadas mediante seguimiento ocular: MAGIC pointsing y RealTourist. ^{[ 23 ]}

En 1999, trabajó junto con sus colegas ( Carlos Morimoto y Steven Ihde) en el Centro de Investigación IBM Almaden y publicó un artículo titulado "Manual and gaze input cascaded (MAGIC) pointing" . Este trabajo exploró una nueva dirección en la utilización de la mirada para la entrada de datos en computadoras, demostrando que las técnicas de puntero MAGIC podrían ofrecer muchas ventajas, incluyendo menor esfuerzo físico y fatiga que el puntero manual tradicional, mayor precisión y naturalidad que el puntero con la mirada tradicional, y posiblemente mayor velocidad que el puntero manual. ^{[ 24 ]}

En 2005, desarrolló y estudió un sistema experimental, RealTourist, junto con Pernilla Qvarfordt y David Beymer. RealTourist permite al usuario planificar un viaje de conferencia con la ayuda de un consultor turístico remoto que puede visualizar la mirada del turista superpuesta en un mapa compartido. Los datos recopilados del experimento se analizaron junto con una revisión bibliográfica sobre patrones de habla y mirada. Esta investigación exploratoria identificó diversas funciones de la superposición de la mirada en material espacial compartido, entre ellas: visualización precisa y directa de la mirada del interlocutor, referencia deíctica implícita, detección de intereses, cambio de enfoque y tema común, mayor redundancia y reducción de ambigüedad, y un aumento de la seguridad, la confianza y la comprensión. Este estudio identificó patrones que pueden servir de base para el diseño de sistemas de diálogo multimodal humano-computadora con la mirada como canal de contribución, e investigó cómo la comunicación mediada por computadora puede ser apoyada por la visualización de la mirada del interlocutor. ^{[ 25 ]}

FonePal es un sistema desarrollado para mejorar la experiencia de acceso a centros de llamadas o mesas de ayuda. Conocida como el "infierno de los teclados", la navegación por menús de voz se ha considerado durante mucho tiempo una experiencia de usuario frustrante debido a la naturaleza de la presentación por voz. En cambio, FonePal permite al usuario explorar y seleccionar desde un menú visual a su propio ritmo, generalmente mucho más rápido que esperar a que se escuchen los menús de voz. FonePal utiliza la infraestructura de Internet, específicamente la mensajería instantánea, para mostrar un menú visual en la pantalla de una computadora cercana simultáneamente con el menú de voz por teléfono. ^{[ 26 ]}

En 2005 y 2006, el Dr. Zhai y su colega Min Yin, del Centro de Investigación IBM Almaden, publicaron dos artículos sobre este proyecto. Su estudio demuestra que FonePal facilita la navegación por el sistema telefónico IVR , aumenta la velocidad de navegación, reduce los errores de enrutamiento y mejora la satisfacción del usuario. FonePal también conecta sin problemas al interlocutor con una base de conocimientos web con función de búsqueda, lo que facilita la autoayuda y reduce los costos operativos del centro de llamadas. ^{[ 27 ] [ 28 ]}