Parte aislada

Los valores atípicos pueden tener muchas causas anómalas. Un aparato físico para tomar mediciones puede haber sufrido un mal funcionamiento transitorio. Puede haber habido un error en la transmisión o transcripción de datos. Los valores atípicos surgen debido a cambios en el comportamiento del sistema, comportamiento fraudulento, error humano, error del instrumento o simplemente a través de desviaciones naturales en las poblaciones. Una muestra puede haber sido contaminada con elementos ajenos a la población examinada. Alternativamente, un valor atípico podría ser el resultado de una falla en la teoría asumida, lo que requiere una investigación más profunda por parte del investigador. Además, la aparición patológica de valores atípicos de cierta forma aparece en una variedad de conjuntos de datos, lo que indica que el mecanismo causal de los datos puede diferir en el extremo ( efecto King ).

Se propone determinar en una serie de${\displaystyle m}$observaciones el límite de error, más allá del cual todas las observaciones que impliquen un error tan grande pueden ser rechazadas, siempre que haya tantas como${\displaystyle n}$tales observaciones. El principio sobre el cual se propone resolver este problema es que las observaciones propuestas deben rechazarse cuando la probabilidad del sistema de errores obtenido al conservarlas sea menor que la del sistema de errores obtenido al rechazarlas multiplicada por la probabilidad de realizar tantas observaciones anormales como sea necesario. (Citado en la nota editorial de la página 516 a Peirce (edición de 1982) de A Manual of Astronomy 2:558 de Chauvenet). ^{[ 13 ] [ 14 ] [ 15 ] [ 16 ]}

Otros métodos señalan observaciones basándose en medidas como el rango intercuartil . Por ejemplo, si${\displaystyle Q_{1}}$y${\displaystyle Q_{3}}$Si los cuartiles inferior y superior son respectivamente, entonces se podría definir un valor atípico como cualquier observación fuera del rango:

${\displaystyle {\big [}Q_{1}-k(Q_{3}-Q_{1}),Q_{3}+k(Q_{3}-Q_{1}){\big ]}}$

para alguna constante no negativa${\displaystyle k}$John Tukey propuso esta prueba, donde${\displaystyle k=1.5}$indica un "valor atípico" y${\displaystyle k=3}$indica datos que están "muy lejos". ^{[ 17 ]}

En diversos dominios, como estadística , procesamiento de señales , finanzas , econometría , manufactura , redes y minería de datos , pero sin limitarse a ellos, la tarea de detección de anomalías puede adoptar otros enfoques. Algunos de estos pueden basarse en la distancia ^{[ 18 ] [ 19 ]} y en la densidad, como el Factor de Valores Atípicos Locales (LOF). ^{[ 20 ]} Algunos enfoques pueden utilizar la distancia a los k vecinos más cercanos para etiquetar las observaciones como valores atípicos o no atípicos. ^{[ 21 ]}

La prueba Tau de Thompson modificada es un método utilizado para determinar si existe un valor atípico en un conjunto de datos. ^{[ 22 ]} La fortaleza de este método radica en que toma en cuenta la desviación estándar y la media del conjunto de datos, y proporciona una zona de rechazo determinada estadísticamente; por lo tanto, ofrece un método objetivo para determinar si un punto de datos es un valor atípico. ^{[ 23 ]} Cómo funciona: Primero, se determina la media del conjunto de datos. Luego, se determina la desviación absoluta entre cada punto de datos y la media. En tercer lugar, se determina una región de rechazo utilizando la fórmula:

${\displaystyle {\text{Rejection Region}}{=}{\frac {{t_{\alpha /2}}{\left(n-1\right)}}{{\sqrt {n}}{\sqrt {n-2+{t_{\alpha /2}^{2}}}}}}}$;

dónde${\displaystyle \scriptstyle {t_{\alpha /2}}}$es el valor crítico de la distribución t de Student con n -2 grados de libertad, n es el tamaño de la muestra y s es la desviación estándar de la muestra. Para determinar si un valor es un valor atípico: Calcule${\displaystyle \scriptstyle \delta =|(X-mean(X))/s|}$Si δ > Región de Rechazo, el punto de datos es un valor atípico. Si δ ≤ Región de Rechazo, el punto de datos no es un valor atípico.

La prueba Tau de Thompson modificada se utiliza para detectar valores atípicos de uno en uno (el valor δ más alto se elimina si se trata de un valor atípico). Es decir, si se detecta un valor atípico en un dato, se elimina del conjunto de datos y se vuelve a aplicar la prueba con una nueva media y una nueva región de rechazo. Este proceso se repite hasta que no queden valores atípicos en el conjunto de datos.

Algunos trabajos también han examinado los valores atípicos para datos nominales (o categóricos). En el contexto de un conjunto de ejemplos (o instancias) en un conjunto de datos, la dificultad de la instancia mide la probabilidad de que una instancia sea clasificada erróneamente (${\displaystyle 1-p(y|x)}$donde y es la etiqueta de clase asignada y x representa el valor del atributo de entrada para una instancia en el conjunto de entrenamiento t ). ^{[ 24 ]} Idealmente, la dificultad de la instancia se calcularía sumando sobre el conjunto de todas las hipótesis posibles H :

${\displaystyle {\begin{aligned}IH(\langle x,y\rangle )&=\sum _{H}(1-p(y,x,h))p(h|t)\\&=\sum _{H}p(h|t)-p(y,x,h)p(h|t)\\&=1-\sum _{H}p(y,x,h)p(h|t).\end{aligned}}}$

Prácticamente, esta formulación es inviable ya que H es potencialmente infinito y el cálculo${\displaystyle p(h|t)}$es desconocido para muchos algoritmos. Por lo tanto, la dificultad de instancia se puede aproximar utilizando un subconjunto diverso.${\displaystyle L\subset H}$:

${\displaystyle IH_{L}(\langle x,y\rangle )=1-{\frac {1}{|L|}}\sum _{j=1}^{|L|}p(y|x,g_{j}(t,\alpha ))}$

dónde${\displaystyle g_{j}(t,\alpha )}$es la hipótesis inducida por el algoritmo de aprendizaje${\displaystyle g_{j}}$Entrenado en el conjunto de entrenamiento t con hiperparámetros${\displaystyle \alpha }$La dificultad de la instancia proporciona un valor continuo para determinar si una instancia es una instancia atípica.

Incluso cuando un modelo de distribución normal es apropiado para los datos que se analizan, se esperan valores atípicos en muestras grandes y no deben descartarse automáticamente en ese caso. ^{[ 25 ]} En su lugar, se debe utilizar un método robusto frente a valores atípicos para modelar o analizar datos con valores atípicos que se producen de forma natural. ^{[ 25 ]}

Al decidir si se debe eliminar un valor atípico, se debe considerar la causa. Como se mencionó anteriormente, si el origen del valor atípico se puede atribuir a un error experimental, o si se puede determinar de otra manera que el dato atípico es erróneo, generalmente se recomienda eliminarlo. ^{[ 25 ] [ 26 ]} Sin embargo, es más conveniente corregir el valor erróneo, si es posible.

Por otro lado, eliminar un dato simplemente por ser un valor atípico es una práctica controvertida, a menudo mal vista por muchos científicos y profesores de ciencias, ya que suele invalidar los resultados estadísticos. ^{[ 25 ] [ 26 ]} Si bien los criterios matemáticos proporcionan un método objetivo y cuantitativo para el rechazo de datos, no hacen que la práctica sea más sólida desde el punto de vista científico o metodológico, especialmente en conjuntos pequeños o cuando no se puede asumir una distribución normal. El rechazo de valores atípicos es más aceptable en áreas de práctica donde se conocen con certeza el modelo subyacente del proceso que se está midiendo y la distribución habitual del error de medición.

Los dos métodos comunes para excluir valores atípicos son el truncamiento (o recorte) y la winsorización . El recorte descarta los valores atípicos, mientras que la winsorización los reemplaza con los datos "no sospechosos" más cercanos. ^{[ 27 ]} La exclusión también puede ser consecuencia del proceso de medición, como cuando un experimento no es totalmente capaz de medir dichos valores extremos, lo que resulta en datos censurados . ^{[ 28 ]}

En problemas de regresión , un enfoque alternativo puede ser excluir únicamente los puntos que exhiben un alto grado de influencia en los coeficientes estimados, utilizando una medida como la distancia de Cook . ^{[ 29 ]}

Si se excluye un dato (o varios) del análisis de datos , esto debe indicarse claramente en cualquier informe posterior.

Debe considerarse la posibilidad de que la distribución subyacente de los datos no sea aproximadamente normal, presentando « colas pesadas ». Por ejemplo, al muestrear a partir de una distribución de Cauchy , ^{[ 30 ]} la varianza muestral aumenta con el tamaño de la muestra, la media muestral no converge a medida que aumenta el tamaño de la muestra y se esperan valores atípicos con mucha mayor frecuencia que en una distribución normal. Incluso una ligera diferencia en la amplitud de las colas puede generar una gran diferencia en el número esperado de valores extremos.

Un enfoque de pertenencia a conjuntos considera que la incertidumbre correspondiente a la i -ésima medición de un vector aleatorio desconocido x se representa mediante un conjunto X _i (en lugar de una función de densidad de probabilidad). Si no hay valores atípicos, x debería pertenecer a la intersección de todos los X _i . Cuando hay valores atípicos, esta intersección podría estar vacía, y deberíamos relajar un pequeño número de conjuntos X _i (lo más pequeño posible) para evitar cualquier inconsistencia. ^{[ 31 ]} Esto se puede hacer utilizando la noción de intersección q - relajada . Como se ilustra en la figura, la intersección q- relajada corresponde al conjunto de todos los x que pertenecen a todos los conjuntos excepto q de ellos. Los conjuntos X _i que no intersecan la intersección q -relajada podrían ser sospechosos de ser valores atípicos.

En los casos en que se conoce la causa de los valores atípicos, puede ser posible incorporar este efecto a la estructura del modelo, por ejemplo, utilizando un modelo bayesiano jerárquico o un modelo de mezcla . ^{[ 32 ] [ 33 ]}

En el análisis de clústeres , los valores atípicos pueden distorsionar considerablemente los resultados. Por lo tanto, el manejo de los valores atípicos ha sido objeto de mucho debate.

El análisis de clústeres se basa en gran medida en medidas de distancia. Se ha sugerido que la distancia de Manhattan , debido a que no eleva al cuadrado valores de diferencia desproporcionadamente grandes, probablemente maneja mejor los valores atípicos que la distancia euclidiana . ^{[ 34 ]}