Emparejar

En efectos visuales , el match moving es una técnica que permite la inserción de elementos 2D, otros elementos de acción real o gráficos por computadora (CG) en metraje de acción real con la posición, escala, orientación y movimiento correctos en relación con los objetos fotografiados en la toma . También permite eliminar elementos de acción real de la toma. El término se usa de forma general para describir varios métodos diferentes de extracción de información de movimiento de la cámara de una película . También conocido como seguimiento de movimiento o resolución de cámara , el match moving está relacionado con la rotoscopia y la fotogrametría . A veces se confunde con la captura de movimiento , que registra el movimiento de objetos, a menudo actores humanos, en lugar de la cámara. Por lo general, la captura de movimiento requiere cámaras y sensores especiales y un entorno controlado (aunque desarrollos recientes como la cámara Kinect y Face ID de Apple han comenzado a cambiar esto). El match moving también se distingue de la fotografía de control de movimiento , que utiliza hardware mecánico para ejecutar múltiples movimientos de cámara idénticos. El match moving, por el contrario, suele ser una tecnología basada en software , aplicada a posteriori a metraje normal grabado en entornos no controlados con una cámara común.

La técnica de seguimiento de movimiento se utiliza principalmente para rastrear el movimiento de una cámara a lo largo de una toma, de modo que se pueda reproducir un movimiento de cámara virtual idéntico en un programa de animación 3D . Cuando se incorporan nuevos elementos animados a la toma original de acción real , aparecerán con una perspectiva perfectamente coincidente y, por lo tanto, se verán sin fisuras.

Dado que se basa principalmente en software, el control de movimiento de los partidos se ha vuelto cada vez más asequible a medida que ha disminuido el costo de la potencia informática; ahora es una herramienta de efectos visuales consolidada e incluso se utiliza en transmisiones de televisión en vivo como parte de la creación de efectos como la línea amarilla virtual de down-line en el fútbol americano .

El proceso de cambio de partido se puede dividir en dos pasos.

Calibración

El segundo paso consiste en calcular el  movimiento en 3D. Este proceso busca determinar el movimiento de la cámara mediante la proyección inversa de las trayectorias en 2D  para obtener la posición de la cámara. Este proceso se denomina calibración .

Cuando se fotografía un punto en la superficie de un objeto tridimensional, su posición en el marco 2D se puede calcular mediante una función de proyección 3D . Podemos considerar una cámara como una abstracción que contiene todos los parámetros necesarios para modelar una cámara en un mundo real o virtual. Por lo tanto, una cámara es un vector que incluye como elementos la posición de la cámara, su orientación, la distancia focal y otros parámetros posibles que definen cómo la cámara enfoca la luz sobre el plano de la película . La forma exacta en que se construye este vector no es importante siempre que exista una función de proyección P compatible .

La función de proyección P toma como entrada un vector de cámara (denominado cámara ) y otro vector que representa la posición de un punto 3D en el espacio (denominado xyz ), y devuelve un punto 2D  proyectado sobre un plano frente a la cámara (denominado XY ). Podemos expresar esto de la siguiente manera:

XY = P( cámara , xyz )

The projection function transforms the 3-D point and strips away the component of depth. Without knowing the depth of the component an inverse projection function can only return a set of possible 3D points, that form a line emanating from the nodal point of the camera lens and passing through the projected 2-D point. We can express the inverse projection as:

xyz ∈ P'(camera, XY)

or

{xyz:P(camera, xyz) = XY}

Let's say we are in a situation where the features we are tracking are on the surface of a rigid object such as a building. Since we know that the real point xyz will remain in the same place in real space from one frame of the image to the next we can make the point a constant even though we do not know where it is. So:

xyz_i = xyz_j

where the subscripts i and j refer to arbitrary frames in the shot we are analyzing. Since this is always true then we know that:

P'(camera_i, XY_i) ∩ P'(camera_j, XY_j) ≠ {}

Because the value of XY_i has been determined for all frames that the feature is tracked through by the tracking program, we can solve the reverse projection function between any two frames as long as P'(camera_i, XY_i) ∩ P'(camera_j, XY_j) is a small set. Set of possible camera vectors that solve the equation at i and j (denoted C_ij).

C_ij = {(camera_i,camera_j):P'(camera_i, XY_i) ∩ P'(camera_j, XY_j) ≠ {})

So there is a set of camera vector pairs C_ij for which the intersection of the inverse projections of two points XY_i and XY_j is a non-empty, hopefully small, set centering on a theoretical stationary point xyz.

En otras palabras, imaginemos un punto negro flotando en un vacío blanco y una cámara. Para cualquier posición en el espacio donde coloquemos la cámara, existe un conjunto de parámetros correspondientes (orientación, distancia focal, etc.) que fotografiarán ese punto negro exactamente de la misma manera. Dado que C tiene un número infinito de elementos, un solo punto nunca es suficiente para determinar la posición real de la cámara.

A medida que agregamos puntos de seguimiento, podemos reducir las posibles posiciones de la cámara. Por ejemplo, si tenemos un conjunto de puntos { xyz _i,0 ,..., xyz _i,n } y { xyz _j,0 ,..., xyz _j,n } donde i y j aún se refieren a fotogramas y n es un índice a uno de los muchos puntos de seguimiento que estamos siguiendo, podemos derivar un conjunto de pares de vectores de cámara {C _i,j,0 ,...,C _i,j,n }.

De esta forma, las múltiples trayectorias nos permiten reducir los posibles parámetros de la cámara. El conjunto de parámetros de cámara posibles que se ajustan, F, es la intersección de todos los conjuntos:

F = C _i,j,0 ∩ ... ∩ C _i,j,n

Cuantos menos elementos tenga este conjunto, más cerca estaremos de extraer los parámetros reales de la cámara. En realidad, los errores introducidos en el proceso de seguimiento requieren un enfoque más estadístico para determinar un buen vector de cámara para cada fotograma; a menudo se utilizan algoritmos de optimización y ajuste de bloques de haz . Desafortunadamente, un vector de cámara tiene tantos elementos que, incluso cuando cada parámetro es libre, es posible que no podamos reducir F a una sola posibilidad, independientemente de cuántas características rastreemos. Cuanto más podamos restringir los distintos parámetros, especialmente la distancia focal, más fácil será encontrar la solución.

En definitiva, el proceso de resolución 3D consiste en ir reduciendo las posibles soluciones al movimiento de la cámara hasta llegar a una que se ajuste a las necesidades de la composición que estamos intentando crear.

El seguimiento de movimiento bidimensional tiene dos formas. Algunos programas de composición, como Shake , Adobe Substance , Adobe After Effects y Discreet Combustion , incluyen capacidades de seguimiento de movimiento bidimensional . El seguimiento de movimiento bidimensional solo rastrea elementos en un espacio bidimensional, sin tener en cuenta el movimiento de la cámara ni la distorsión. Se puede usar para añadir efectos de desenfoque de movimiento o estabilización de imagen al metraje. Esta técnica es suficiente para crear efectos realistas cuando el metraje original no incluye cambios importantes en la perspectiva de la cámara. Por ejemplo, una valla publicitaria que se encuentra al fondo de una toma a menudo se puede reemplazar usando el seguimiento bidimensional.

Las herramientas de seguimiento tridimensional permiten extrapolar información tridimensional a partir de fotografías bidimensionales. Estas herramientas permiten a los usuarios obtener el movimiento de la cámara y otros movimientos relativos a partir de grabaciones arbitrarias. La información de seguimiento se puede transferir a software de gráficos por computadora y utilizarse para animar cámaras virtuales y objetos simulados. Algunos programas compatibles con el seguimiento tridimensional son:

• 3DEqualizer de Science.D.Visions (que ganó un Premio de la Academia por Logro Técnico ) ^{[ 1 ]}
• Blender (código abierto; utiliza libmv)
• Voodoo archivado el 30/04/2016 en Wayback Machine.
• ACTS es un sistema automático de seguimiento de cámara con recuperación de profundidad densa para el procesamiento de secuencias de imágenes/vídeos.
• LS-ACTS es un sistema robusto y eficiente de reconstrucción 3D a partir de imágenes y vídeo que puede procesar grandes conjuntos de datos de secuencias de imágenes/vídeo prácticamente en tiempo real y funcionar de forma robusta en casos complejos (por ejemplo, secuencias en bucle y secuencias múltiples).
• VISCODA VooCAT
• Ícaro (proyecto de investigación de la Universidad de Manchester, actualmente discontinuado pero aún popular)
• Maya MatchMover
• Pixel Farm PFTrack , PFMatchit, PFHoe (basados ​​en algoritmos de PFTrack)
• KeenTools GeoTracker , PinTool
• SynthEyes de Andersson Technologies
• Boujou fue archivado el 22 de abril de 2016 en Wayback Machine (que ganó un premio Emmy en 2002).
• NukeX de The Foundry
• CameraTracker (un complemento para Adobe After Effects ) de The Foundry.
• VideoTrace de Punchcard (software para generar modelos 3D a partir de vídeos e imágenes)
• IXIR 2D Track Editor es compatible con pistas 2D y archivos de máscara de software como 3D Equalizer, PFTrack, Boujou, SynthEyes, Matchmover, Movimento, Nuke, Shake, Fusion, After Effects, Combustion, Mocha y Silhouette.
• mocha Pro de Imagineer Systems, utilidad basada en Planar Tracker para postproducción.
• fayIN es un complemento para Adobe After Effects de fayteq ( adquirida por Facebook en 2017 ).
• Meshroom de Alicevision, una aplicación de fotogrametría gratuita y de código abierto que también permite a los usuarios exportar una cámara animada junto con una reconstrucción 3D de una escena.

Existen dos métodos para extraer información de movimiento de una imagen. El seguimiento interactivo, también conocido como "seguimiento supervisado", requiere que el usuario siga los elementos de la escena. El seguimiento automático utiliza algoritmos informáticos para identificar y rastrear los elementos a lo largo de la toma. Los movimientos de los puntos rastreados se utilizan para calcular una "solución". Esta solución se compone de toda la información de la cámara, como el movimiento, la distancia focal y la distorsión de la lente .

La ventaja del seguimiento automático es que el ordenador puede generar muchos puntos más rápido que un humano. Un gran número de puntos se puede analizar estadísticamente para determinar los datos más fiables. La desventaja del seguimiento automático es que, según el algoritmo, el ordenador puede confundirse fácilmente al rastrear objetos en la escena. Los métodos de seguimiento automático son particularmente ineficaces en tomas con movimientos rápidos de cámara, como las que se ven al grabar con cámara en mano, y en tomas con elementos repetitivos, como pequeños azulejos o cualquier tipo de patrón regular donde un área no está bien definida. Este método de seguimiento también se ve afectado cuando una toma contiene mucho desenfoque de movimiento, lo que dificulta la distinción de los pequeños detalles necesarios.

La ventaja del seguimiento interactivo es que un usuario humano puede seguir los elementos de una escena completa sin confundirse con aquellos que no son rígidos. Un usuario humano también puede determinar la ubicación de los elementos en una toma con desenfoque de movimiento; para un sistema de seguimiento automático, es extremadamente difícil encontrar correctamente los elementos con un alto grado de desenfoque. La desventaja del seguimiento interactivo es que el usuario inevitablemente introduce pequeños errores al seguir los objetos en la escena, lo que puede generar lo que se conoce como "deriva".

El seguimiento de movimiento de nivel profesional se suele lograr mediante una combinación de técnicas interactivas y automáticas. Un artista puede eliminar los puntos claramente anómalos y usar máscaras de seguimiento para bloquear la información confusa durante el proceso de seguimiento automático. Las máscaras de seguimiento también se emplean para cubrir áreas de la toma que contienen elementos en movimiento, como un actor o un ventilador de techo giratorio.

Dado que a menudo existen múltiples soluciones posibles para el proceso de calibración y puede acumularse un margen de error considerable, el paso final para lograr un movimiento preciso suele implicar el ajuste manual de la solución. Esto puede significar modificar el movimiento de la cámara o proporcionar indicaciones al mecanismo de calibración. Esta calibración interactiva se denomina «ajuste».

La mayoría de las aplicaciones de seguimiento de partidos se basan en algoritmos similares para el seguimiento y la calibración. Por lo general, los resultados iniciales obtenidos son parecidos. Sin embargo, cada programa tiene diferentes capacidades de refinamiento.

El seguimiento de cámara en tiempo real en el set de rodaje se está utilizando cada vez más en la producción de largometrajes para permitir visualizar en directo los elementos que se insertarán en la postproducción. Esto tiene la ventaja de ayudar al director y a los actores a mejorar sus interpretaciones al ver las extensiones del decorado o los personajes generados por ordenador mientras graban (o poco después). Ya no necesitan actuar frente a pantallas verdes o azules sin recibir información sobre el resultado. Las referencias de la mirada, el posicionamiento de los actores y la interacción con los efectos especiales pueden ahora realizarse en directo en el set, lo que da a todos la seguridad de que la toma es correcta y funcionará en la composición final.

Para lograr esto, es necesario combinar varios componentes, tanto de hardware como de software. El software recopila todos los 360 grados de libertad de movimiento de la cámara, así como metadatos como el zoom, el enfoque, el iris y el obturador, provenientes de diversos dispositivos de hardware. Estos dispositivos incluyen sistemas de captura de movimiento como el sistema activo basado en marcadores LED de PhaseSpace, sistemas pasivos como Motion Analysis o Vicon, codificadores rotatorios instalados en grúas y carros para cámaras como Technocranes y Fisher Dollies, o sensores inerciales y giroscópicos montados directamente en la cámara. También existen sistemas de seguimiento láser que se pueden acoplar a cualquier dispositivo, incluidas las Steadicams, para rastrear cámaras en exteriores bajo la lluvia a distancias de hasta 30  metros.

Las cámaras con control de movimiento también pueden utilizarse como fuente o destino de  datos de cámara 3D. Los movimientos de la cámara se pueden previsualizar y convertir en datos de control de movimiento que dirigen una grúa de cámara siguiendo exactamente la misma trayectoria que la  cámara 3D. Los codificadores de la grúa también se pueden usar en tiempo real en el set para invertir este proceso y generar  cámaras 3D en directo. Los datos se pueden enviar a diversas  aplicaciones 3D, lo que permite  a los artistas 3D modificar sus elementos CGI en directo en el set. La principal ventaja es que los problemas de diseño de escenarios, que serían costosos y requerirían mucho tiempo posteriormente, se pueden solucionar durante el rodaje, asegurando que los actores se integren en cada entorno para cada toma mientras realizan sus interpretaciones.

Los sistemas de captura de movimiento en tiempo real también pueden integrarse en el flujo de datos de la cámara, lo que permite insertar personajes virtuales en tomas en vivo durante el rodaje. Esto mejora notablemente la interacción entre personajes reales y virtuales generados por captura de movimiento, ya que tanto las interpretaciones grabadas como las generadas por computadora pueden coreografiarse conjuntamente.

• 1.º y 1.º (sistema gráfico)
• Servicios de medios virtuales de PVI
• Estructura a partir del movimiento
• estudio virtual

• Matchmoving: El arte invisible del seguimiento de cámara , por Tim Dobbert, Sybex, febrero de 2005, ISBN 0-7821-4403-9
• Estimación 3D y aplicaciones al movimiento de emparejamiento: un artículo inicial sobre el movimiento de emparejamiento que profundiza en las matemáticas.
• Comparación de aplicaciones de seguimiento y sincronización de trayectorias
• Tutoriales de seguimiento y matchmoving 3D *Enlace roto*

• Explicación del matchmoving en el blog de FLIP Animation ( Consultado en mayo de 2013).