captura de movimiento facial

Los sistemas tradicionales basados ​​en marcadores aplican hasta 350 marcadores al rostro del actor y rastrean su movimiento con cámaras de alta resolución . Esto se ha utilizado en películas como El Expreso Polar y Beowulf para permitir que un actor como Tom Hanks controlara las expresiones faciales de varios personajes. Desafortunadamente, esto resulta bastante engorroso y hace que las expresiones del actor se vean exageradas una vez aplicados el suavizado y el filtrado. Los sistemas de nueva generación, como CaptiveMotion, utilizan variantes del sistema tradicional basado en marcadores con un mayor nivel de detalle.

Actualmente, la tecnología de marcadores LED activos se utiliza para controlar la animación facial en tiempo real y proporcionar retroalimentación al usuario.

Las tecnologías sin marcadores utilizan las características del rostro, como las fosas nasales , las comisuras de los labios y los ojos, y las arrugas, para luego rastrearlas. Esta tecnología se analiza y demuestra en CMU , ^{[ 2 ]} IBM , ^{[ 3 ]} la Universidad de Manchester (donde gran parte de esto comenzó con Tim Cootes , ^{[ 4 ]} Gareth Edwards y Chris Taylor) y otros lugares, utilizando modelos de apariencia activa , análisis de componentes principales , seguimiento de autovalores , modelos de superficies deformables y otras técnicas para rastrear las características faciales deseadas fotograma a fotograma. Esta tecnología es mucho menos engorrosa y permite una mayor expresividad para el actor.

Estos métodos basados ​​en visión también permiten rastrear el movimiento de las pupilas, los párpados y la oclusión dental por los labios y la lengua, problemas evidentes en la mayoría de las animaciones por computadora. Las limitaciones típicas de estos métodos son la resolución y la velocidad de fotogramas, las cuales están disminuyendo a medida que se generaliza el acceso a cámaras CMOS de alta velocidad y alta resolución de diversos fabricantes.

La tecnología de seguimiento facial sin marcadores está relacionada con la de un sistema de reconocimiento facial , ya que este último puede aplicarse secuencialmente a cada fotograma de vídeo, lo que permite el seguimiento facial. Por ejemplo, el sistema Neven Vision ^{[ 5 ]} (anteriormente Eyematics, ahora adquirido por Google) permitía el seguimiento facial 2D en tiempo real sin entrenamiento específico para cada persona; su sistema también se encontraba entre los de mejor rendimiento en la Prueba de Proveedores de Reconocimiento Facial (FRVT) del Gobierno de EE. UU. de 2002. Por otro lado, algunos sistemas de reconocimiento no rastrean explícitamente las expresiones o incluso fallan con expresiones no neutras, por lo que no son adecuados para el seguimiento. En cambio, sistemas como los modelos de superficie deformable combinan información temporal para desambiguar y obtener resultados más robustos, por lo que no podrían aplicarse a partir de una sola fotografía.

El seguimiento facial sin marcadores ha evolucionado hasta convertirse en sistemas comerciales como Image Metrics , que se ha aplicado en películas como las secuelas de Matrix ^{[ 6 ]} y El curioso caso de Benjamin Button . Esta última utilizó el sistema Mova para capturar un modelo facial deformable, que luego se animó con una combinación de seguimiento manual y visual. ^{[ 7 ]} Avatar fue otra película destacada de captura de movimiento; sin embargo, utilizó marcadores pintados en lugar de un sistema sin marcadores. Dynamixyz es otro sistema comercial que se utiliza actualmente.

Los sistemas sin marcadores se pueden clasificar según varios criterios distintivos:

• Seguimiento en 2D frente a seguimiento en 3D
• si se requiere capacitación específica para la persona u otro tipo de asistencia humana.
• Rendimiento en tiempo real (lo cual solo es posible si no se requiere capacitación ni supervisión).
• ya sea que necesiten una fuente de información adicional, como patrones proyectados o pintura invisible como la que se usa en el sistema Mova.

Hasta la fecha, ningún sistema es ideal con respecto a todos estos criterios. Por ejemplo, el sistema Neven Vision era totalmente automático y no requería patrones ocultos ni entrenamiento por persona, pero era 2D. El sistema Face/Off ^{[ 8 ]} es 3D, automático y en tiempo real, pero requiere patrones proyectados.

Los métodos digitales basados ​​en vídeo son cada vez más populares, ya que los sistemas mecánicos tienden a ser engorrosos y difíciles de usar.

Mediante cámaras digitales , las expresiones del usuario se procesan para determinar la postura de la cabeza , lo que permite al software identificar los ojos, la nariz y la boca. El rostro se calibra inicialmente con una expresión neutra. Posteriormente, según la estructura facial, las cejas, los párpados, las mejillas y la boca se procesan como diferencias respecto a la expresión neutra. Esto se logra, por ejemplo, detectando los bordes de los labios y reconociéndolos como un elemento único. A menudo se utilizan maquillaje o marcadores para realzar el contraste, u otros métodos para acelerar el procesamiento. Al igual que con el reconocimiento de voz, las mejores técnicas solo son efectivas en el 90 % de los casos, requiriendo ajustes manuales frecuentes o cierta tolerancia a errores.

Dado que los personajes generados por computadora no tienen músculos reales , se utilizan diferentes técnicas para lograr el mismo resultado. Algunos animadores crean huesos u objetos controlados por el software de captura y los mueven en consecuencia, lo que, cuando el personaje está correctamente articulado, proporciona una buena aproximación. Como los rostros son muy elásticos, esta técnica suele combinarse con otras, ajustando los pesos de forma diferente según la elasticidad de la piel y otros factores, dependiendo de las expresiones deseadas.

Varias empresas comerciales están desarrollando productos que ya se han utilizado, pero que resultan bastante caros.

Se espera que este dispositivo se convierta en un elemento clave para los videojuegos una vez que el software esté disponible en un formato asequible, pero el hardware y el software aún no existen, a pesar de que la investigación de los últimos 15 años ha producido resultados casi utilizables.