Plan maestro de pruebas y evaluación

El plan maestro de pruebas y evaluación ( TEMP ) es un aspecto fundamental de la gestión de proyectos que involucra sistemas complejos que deben satisfacer requisitos de especificación. El TEMP se utiliza para respaldar eventos programáticos llamados decisiones de hitos que separan las fases individuales de un proyecto. Para los sistemas militares, el nivel de financiación determina la categoría de adquisición y la organización responsable de la decisión de hito. ^{[1] [2]}

Una matriz de trazabilidad se utiliza generalmente para vincular elementos dentro del TEMP con elementos dentro de las especificaciones .

El plan maestro de pruebas y evaluación documenta la estructura general y los objetivos de las pruebas y evaluaciones de un programa. ^[3] Abarca las actividades a lo largo del ciclo de vida de un programa e identifica los criterios de evaluación para los evaluadores. ^[4]

El plan maestro de pruebas y evaluación consta de pruebas individuales. Cada prueba contiene lo siguiente:

• Escenario de prueba
• Recopilación de datos
• Evaluación del desempeño

El escenario de prueba establece las condiciones de prueba. Normalmente, está asociado con un perfil de misión específico. En el caso de los sistemas militares, sería un escenario de combate y podría implicar una prueba y evaluación con fuego real (LFT&E). En el caso de los sistemas comerciales, implicaría un tipo específico de situación que implique el uso del elemento que se está desarrollando.

Por ejemplo, el funcionamiento en climas fríos puede requerir que se evalúe el funcionamiento a temperaturas inferiores a 100 C utilizando una cámara ambiental. La evaluación del funcionamiento con una interfaz de vehículo puede requerir una evaluación de compatibilidad con una prueba de vibración . La evaluación de una tienda de Internet requeriría que el sistema guíe al usuario a través de la compra de un producto mientras el sistema está cargado con otro tráfico. ${\displaystyle -40^{o}}$

El escenario de prueba identifica lo siguiente.

• Elementos necesarios para la prueba
• Instrucciones para configurar los elementos que se utilizarán durante la prueba
• Descripción general de cómo operar el sistema bajo prueba
• Acciones y eventos específicos que tendrán lugar durante la prueba

La recopilación de datos identifica la información que debe recopilarse durante la prueba. Esto implica una configuración preliminar antes de que comience la prueba. Esto puede implicar la preparación para cualquiera de los siguientes pasos.

• Configuraciones para el sistema bajo prueba
• Instrumentación separada
• Notas escritas a partir de la observación directa
• Recolección de muestras

Los sistemas que incorporan una computadora generalmente requieren la capacidad de extraer y registrar tipos específicos de datos del sistema mientras está funcionando normalmente.

La recopilación electrónica de datos puede iniciarse y detenerse como una de las acciones descritas en el escenario de prueba.

Cuando el acceso a los datos está restringido, la transferencia de datos entre organizaciones puede requerir un plan de recopilación de datos . Esto puede ocurrir con sistemas militares clasificados .

Una vez finalizadas las pruebas, se analizan los datos. Este análisis se denomina evaluación del rendimiento.

Las medidas de eficacia son métricas específicas que se utilizan para medir los resultados en la misión general y la ejecución de las tareas asignadas.

Estos pueden tener límites de rendimiento flexibles asociados con el resultado de un evento específico. Por ejemplo, la primera ronda disparada desde un arma apuntada con un radar no impactaría en una ubicación específica, pero la posición se puede medir usando el radar, por lo que el sistema debería poder lanzar una ronda dentro de un radio específico después de que se hayan disparado varias rondas. La cantidad de rondas necesarias para que una arroje un proyectil dentro del límite es el MOE. El radio sería una medida de rendimiento (MOP).

Las medidas de desempeño son métricas específicas que tienen un límite de aprobación o desaprobación que debe cumplirse. Por lo general, se identifican con las palabras " deberá" o "debe" en la especificación.

Un tipo de MOP es la distancia que un vehículo con una carga específica debe recorrer a una velocidad específica antes de quedarse sin combustible.

Otro tipo de MOP es la distancia que un radar puede detectar un reflector de 1 metro cuadrado.

Las medidas de idoneidad evalúan la capacidad de recibir soporte en el entorno operativo previsto.

Por ejemplo, puede tratarse de una evaluación del tiempo medio entre fallos (MTBF) que se evalúa durante otras pruebas. Un sistema con fallos excesivos puede satisfacer todos los demás requisitos y no ser adecuado para su uso. Un arma que se atasca cuando está sucia no es adecuada para uso militar.

Estos requisitos están asociados a invalideces.

• Fiabilidad
• Disponibilidad
• Mantenibilidad
• Capacidad de soporte
• Usabilidad

Los resultados de la evaluación TEMP se utilizan para múltiples propósitos.

• Rechazo: decisión de terminación de la financiación
• Rediseño: modificación y nueva prueba de la decisión de financiación
• Producción a tasa completa: decisión de financiación de aceptación
• Planificación de la misión

La planificación de la misión implica la traducción de MOE, MOP y MOS a lo siguiente.

• Capacidad operativa requerida (ROC)
• Entorno operativo proyectado (POE)
• Pruebas de diagnóstico mediante prueba integrada (BIT) o mantenimiento planificado

El ROC y el POE son expectativas específicas evaluadas por el TEMP que se utilizan para determinar cómo desplegar los activos para satisfacer un requisito de misión específico. Las pruebas de diagnóstico garantizan que se cumplan estas expectativas durante la duración de la misión.

El Departamento de Defensa de Australia también ha utilizado el término "plan maestro de pruebas y evaluación" como una guía general diferenciada para las funciones de prueba y evaluación en un desarrollo. ^[5] Otros utilizan el término, o términos similares como "plan maestro de pruebas y evaluación".

• Guía de Adquisiciones de Defensa (DAG), sección 9 Prueba y Evaluación
• Director de Pruebas y Evaluación Operacional

• Guía y estándar del PMBOK
• Universidad de Adquisiciones de Defensa
• Departamento de la Marina, Instrucciones
• Instrucción de la Fuerza Aérea
• Instrucción del ejército
• Instrucciones del Cuerpo de Marines de EE. UU.
• Guía de trabajo temporal del DOT&E, 2017