Prueba de proveedor de reconocimiento facial

La Prueba de Proveedores de Reconocimiento Facial ( FRVT ) fue una serie de evaluaciones independientes a gran escala de sistemas de reconocimiento facial realizadas por el Instituto Nacional de Estándares y Tecnología en 2000, 2002, 2006, 2010, 2013 y 2017. Las evaluaciones previas de la serie fueron las evaluaciones de Tecnología de Reconocimiento Facial (FERET) en 1994, 1995 y 1996. El proyecto se encuentra actualmente en curso con informes periódicos ^{[ 1 ]} y continúa expandiéndose en alcance. Ahora incluye pruebas para la Evaluación Facial en Video (FIVE), detección de transformación facial y pruebas de efectos demográficos (por ejemplo, edad, género y raza) ^{[ 2 ] .}

El objetivo principal del FRVT 2006 fue medir el progreso de los sistemas/algoritmos prototipo y los sistemas comerciales de reconocimiento facial desde el FRVT 2002. El FRVT 2006 evaluó el rendimiento en:

• Imágenes fijas de alta resolución (de 5 a 6 megapíxeles)
• Escaneos faciales 3D
• Imágenes faciales fijas de múltiples muestras
• Algoritmos de preprocesamiento que compensan la pose y la iluminación.

Para garantizar una evaluación precisa, el FRVT 2006 midió el rendimiento con datos aislados (datos que los investigadores o desarrolladores no habían visto previamente). Se empleó un conjunto de datos y una metodología de prueba estandarizados para que todos los participantes fueran evaluados de manera uniforme. El gobierno proporcionó tanto los datos de prueba como el entorno de prueba a los participantes. El entorno de prueba se denominó Entorno de Experimentación Biométrica (BEE). El BEE constituía la infraestructura del FRVT 2006. Permitió al experimentador centrarse en el experimento al simplificar la gestión de los datos de prueba , la configuración del experimento y el procesamiento de los resultados.

La FRVT 2006 fue patrocinada por varias agencias del Gobierno de los Estados Unidos y fue realizada y gestionada por el Instituto Nacional de Estándares y Tecnología (NIST).

Uno de los objetivos del FRVT 2006 fue determinar de forma independiente si se habían alcanzado los objetivos del Gran Desafío de Reconocimiento Facial (FRGC). El FRGC fue un proyecto independiente de desarrollo de algoritmos diseñado para promover y avanzar en la tecnología de reconocimiento facial que respalda los esfuerzos existentes en este campo en el gobierno de EE. UU. Uno de los objetivos del FRGC fue desarrollar algoritmos de reconocimiento facial capaces de ofrecer un rendimiento un orden de magnitud superior al del FRVT 2002. El FRGC se llevó a cabo desde mayo de 2004 hasta marzo de 2006. Los datos del FRGC aún están disponibles para los investigadores en reconocimiento facial. Para obtener datos del FRGC, los participantes potenciales deben firmar las licencias requeridas y seguir las normas de publicación de datos del FRGC. Para solicitar un conjunto de datos del FRGC , siga las instrucciones que se encuentran en la página web del FRGC.

Protocolo FRVT 2006

Firmas de llamada de ejecutables FRVT 2006

Convención de nomenclatura de ejecutables FRVT 2006

Los resultados a gran escala de FRVT 2006 están disponibles en el informe de evaluación combinado de los resultados a gran escala de FRVT 2006 e ICE 2006. Este informe evalúa algoritmos basados ​​en la información proporcionada por 22 organizaciones de 10 países diferentes, muchas de las cuales presentaron múltiples algoritmos. Sin embargo, solo se documentan en este informe aquellos que completaron con éxito las pruebas a gran escala. El informe muestra cómo las tasas de error de los mejores algoritmos han mejorado exponencialmente a lo largo de los años, pasando de una tasa de falso rechazo (FRR) de 0,79 con una tasa de falsa aceptación (FAR) de 0,001 en 1993, a una FRR=0,01 con una FAR=0,001 en 2006. Parte de esta mejora se debe a la mayor calidad de las imágenes faciales. Los mejores resultados de 2006 se obtuvieron con imágenes fijas de muy alta resolución (6 Mp) e imágenes 3D. ^{[ 3 ]}

El concurso Face Recognition Prize Challenge (FRPC) evaluó algoritmos de reconocimiento facial en fotografías recopiladas sin estrictos controles de calidad, por ejemplo, imágenes de personas que no cooperaban o desconocían estar siendo fotografiadas. Se otorgaron premios tanto por verificación como por identificación. El mejor algoritmo de verificación obtuvo una tasa de falsos negativos (FNMR) de 0,22 y una tasa de falsos positivos (FMR) de 0,001. También se otorgaron premios por velocidad y por verificación con un conjunto de retratos fotográficos de personas que cooperaron. ^{[ 4 ]}

FRVT Ongoing ahora cuenta con aproximadamente 200 algoritmos de reconocimiento facial y realiza pruebas con al menos seis colecciones de fotografías ^{[ 5 ]} que incluyen múltiples fotografías de más de 8 millones de personas. Los mejores algoritmos para la verificación 1:1 arrojan tasas de falsos negativos de 0,0003 y tasas de falsos positivos de 0,0001 en imágenes de visa de alta calidad. ^{[ 6 ]}

Programas adicionales:

• FRVT: Efectos demográficos: efectos de las diferencias demográficas (por ejemplo, edad, género, raza) en el rendimiento del algoritmo. ^{[ 7 ]}
• FRVT MORPH: detección de transformación facial, especialmente en lo que respecta a la emisión de credenciales fotográficas. ^{[ 8 ]}
• Desafíos FACE: reconocimiento de personas a partir de fotografías publicadas en redes sociales. ^{[ 9 ]}
• Evaluación facial en vídeo (FIVE): capacidad de los algoritmos para identificar o ignorar personas a partir de fuentes de vídeo, muchas veces en las que la persona no está cooperando activamente para los fines del reconocimiento facial, es decir, "en entornos reales". ^{[ 10 ]}

• Agencia de Proyectos de Investigación Avanzada de Inteligencia (IARPA)
• Departamento de Seguridad Nacional (DHS)
• División de Servicios de Información de Justicia Penal del FBI
• Grupo de Trabajo de Soporte Técnico (TSWG)
• Instituto Nacional de Justicia

• Sitio web de MBGC
• Blog de MBGC
• Sitio web de FRGC
• Sitio web de FRVT
• Resultados a gran escala de FRVT 2006 e ICE 2006
• Sitio web de ICE
• Instituto Nacional de Estándares y Tecnología
• Agencia de Proyectos de Investigación Avanzada de Inteligencia
• Departamento de Seguridad Nacional
• División de Servicios de Información de Justicia Penal del FBI
• Grupo de Trabajo de Soporte Técnico (TSWG)
• Instituto Nacional de Justicia