Modelo 3D transformable

En visión artificial y gráficos por computadora , el modelo 3D Morphable ( 3DMM ) es una técnica generativa que utiliza métodos de análisis estadístico de formas para modelar objetos 3D. El modelo sigue un enfoque de análisis por síntesis sobre un conjunto de datos de formas de ejemplo 3D de una sola clase de objetos (por ejemplo, cara, mano). El requisito previo principal es que todas las formas 3D estén en una correspondencia densa punto a punto, es decir, cada punto tiene el mismo significado semántico en todas las formas. De esta manera, podemos extraer estadísticas significativas del conjunto de datos y usarlas para representar nuevas formas plausibles de la clase del objeto. Dada una imagen 2D, podemos representar su forma 3D a través de un proceso de ajuste o generar formas nuevas mediante el muestreo directo de la distribución de formas estadísticas de esa clase. ^[1]

La pregunta que dio origen a la investigación sobre los 3DMM fue comprender cómo un sistema visual podría manejar la gran variedad de imágenes producidas por una sola clase de objetos y cómo se pueden representar. La suposición principal en el desarrollo de los 3DMM fue que el conocimiento previo sobre las clases de objetos era crucial en la visión. Los modelos 3D Face Morphable son los 3DMM más populares, ya que fueron los primeros en desarrollarse en el campo del reconocimiento facial . ^[2] También se han aplicado a todo el cuerpo humano, ^[3] la mano, ^[4] la oreja, ^[5] los automóviles, ^[6] y los animales. ^[7]

Véase también

Referencias

^ Luthi, Marcel; Gerig, Thomas; Jud, Christoph; Vetter, Thomas (1 de agosto de 2018). "Modelos morfables de procesos gaussianos". IEEE Transactions on Pattern Analysis and Machine Intelligence . 40 (8): 1860–1873. arXiv : 1603.07254 . doi :10.1109/TPAMI.2017.2739743. ISSN 0162-8828. PMID 28816655.
^ Egger, Bernhard; Smith, William AP; Tewari, Ayush; Wuhrer, Stefanie; Zollhoefer, Michael; Beeler, Thabo; Bernard, Florian; Bolkart, Timo; Kortylewski, Adam; Romdhani, Sami; Theobalt, Christian; Blanz, Volker; Vetter, Thomas (9 de junio de 2020). "Modelos faciales 3D morfables: pasado, presente y futuro". ACM Trans. Graph . 39 (5): 157:1–157:38. doi :10.1145/3395208. hdl : 21.11116/0000-0007-1CF5-6 . ISSN 0730-0301.
^ Allen, Brett; Curless, Brian; Popović, Zoran (1 de julio de 2003). "El espacio de las formas del cuerpo humano: reconstrucción y parametrización a partir de exploraciones de rango". ACM Trans. Graph . 22 (3): 587–594. doi :10.1145/882262.882311. ISSN 0730-0301.
^ Khamis, Sameh; Taylor, Jonathan; Shotton, Jamie; Keskin, Cem; Izadi, Shahram; Fitzgibbon, Andrew (junio de 2015). "Aprendizaje de un modelo eficiente de variación de la forma de la mano a partir de imágenes de profundidad". Conferencia IEEE de 2015 sobre visión artificial y reconocimiento de patrones (CVPR) . IEEE. págs. 2540–2548. doi :10.1109/CVPR.2015.7298869. ISBN. 978-1-4673-6964-0.
^ Dai, Hang; Pears, Nick; Smith, William (mayo de 2018). "Un modelo tridimensional de la oreja ampliado con datos". 2018 13.ª Conferencia internacional IEEE sobre reconocimiento automático de rostros y gestos (FG 2018) . IEEE. págs. 404–408. doi :10.1109/FG.2018.00065. ISBN . 978-1-5386-2335-0.
^ Jones, MJ; Poggio, T. (1998). "Modelos multidimensionales transformables". Sexta Conferencia Internacional sobre Visión por Computador (IEEE Cat. No.98CH36271) . Narosa Publishing House. págs. 683–688. doi :10.1109/ICCV.1998.710791. ISBN. 978-81-7319-221-0.
^ Sun, Yifan; Murata, Noboru (marzo de 2020). "CAFM: un modelo tridimensional transformable para animales". Talleres de invierno sobre aplicaciones de visión artificial del IEEE de 2020 (WACVW) . IEEE. págs. 20–24. doi :10.1109/WACVW50321.2020.9096941. ISBN 978-1-7281-7162-3.

Enlaces externos

"Lista seleccionada de software y datos de modelos 3D transformables". GitHub . Consultado el 11 de julio de 2024 .

[1] Luthi, Marcel; Gerig, Thomas; Jud, Christoph; Vetter, Thomas (1 de agosto de 2018). "Modelos morfables de procesos gaussianos". IEEE Transactions on Pattern Analysis and Machine Intelligence . 40 (8): 1860–1873. arXiv : 1603.07254 . doi :10.1109/TPAMI.2017.2739743. ISSN 0162-8828. PMID 28816655.

[2] Egger, Bernhard; Smith, William AP; Tewari, Ayush; Wuhrer, Stefanie; Zollhoefer, Michael; Beeler, Thabo; Bernard, Florian; Bolkart, Timo; Kortylewski, Adam; Romdhani, Sami; Theobalt, Christian; Blanz, Volker; Vetter, Thomas (9 de junio de 2020). "Modelos faciales 3D morfables: pasado, presente y futuro". ACM Trans. Graph . 39 (5): 157:1–157:38. doi :10.1145/3395208. hdl : 21.11116/0000-0007-1CF5-6 . ISSN 0730-0301.

[3] Allen, Brett; Curless, Brian; Popović, Zoran (1 de julio de 2003). "El espacio de las formas del cuerpo humano: reconstrucción y parametrización a partir de exploraciones de rango". ACM Trans. Graph . 22 (3): 587–594. doi :10.1145/882262.882311. ISSN 0730-0301.

[4] Khamis, Sameh; Taylor, Jonathan; Shotton, Jamie; Keskin, Cem; Izadi, Shahram; Fitzgibbon, Andrew (junio de 2015). "Aprendizaje de un modelo eficiente de variación de la forma de la mano a partir de imágenes de profundidad". Conferencia IEEE de 2015 sobre visión artificial y reconocimiento de patrones (CVPR) . IEEE. págs. 2540–2548. doi :10.1109/CVPR.2015.7298869. ISBN. 978-1-4673-6964-0.

[5] Dai, Hang; Pears, Nick; Smith, William (mayo de 2018). "Un modelo tridimensional de la oreja ampliado con datos". 2018 13.ª Conferencia internacional IEEE sobre reconocimiento automático de rostros y gestos (FG 2018) . IEEE. págs. 404–408. doi :10.1109/FG.2018.00065. ISBN . 978-1-5386-2335-0.

[6] Jones, MJ; Poggio, T. (1998). "Modelos multidimensionales transformables". Sexta Conferencia Internacional sobre Visión por Computador (IEEE Cat. No.98CH36271) . Narosa Publishing House. págs. 683–688. doi :10.1109/ICCV.1998.710791. ISBN. 978-81-7319-221-0.

[7] Sun, Yifan; Murata, Noboru (marzo de 2020). "CAFM: un modelo tridimensional transformable para animales". Talleres de invierno sobre aplicaciones de visión artificial del IEEE de 2020 (WACVW) . IEEE. págs. 20–24. doi :10.1109/WACVW50321.2020.9096941. ISBN 978-1-7281-7162-3.