Hispanopedia Wiki
Articulo de referencia

Winsorización

La winsorización es la transformación de datos estadísticos mediante la limitación de valores extremos para reducir el efecto de posibles valores atípicos . Recibe su nombre del...

Hispanopedia WikiContenido en espanolLectura gratuita

La winsorización es la transformación de datos estadísticos mediante la limitación de valores extremos para reducir el efecto de posibles valores atípicos . Recibe su nombre del ingeniero convertido en bioestadístico Charles P. Winsor (1895-1951). Su efecto es similar al del recorte en el procesamiento de señales.

La distribución de muchas estadísticas puede verse fuertemente influenciada por valores atípicos, es decir, valores que se encuentran muy alejados del resto de los datos. Una estrategia común para tener en cuenta estos valores atípicos, sin eliminarlos por completo, consiste en reajustarlos a un percentil específico (o a un percentil superior e inferior) de los datos. Por ejemplo, una winsorización del 90 % implicaría que todos los datos por debajo del percentil 5 se ajusten al percentil 5, y todos los datos por encima del percentil 95 al percentil 95. Los estimadores winsorizados suelen ser más robustos frente a los valores atípicos que sus formas más estándar, aunque existen alternativas, como el recorte (véase más adelante), que logran un efecto similar.

Ejemplo

Consideremos un conjunto de datos simple que consta de:

{92, 19, 101 , 58, 1053 , 91, 26, 78, 10, 13, −40 , 101 , 86, 85, 15, 89, 89, 28, −5 , 41}
(N = 20, media = 101,5)

Los datos por debajo del percentil 5 se encuentran entre -40 y -5 (inclusive), mientras que los datos por encima del percentil 95 se encuentran entre 101 y 1053 (inclusive) (los valores relevantes se muestran en negrita ). La winsorización restablece los valores atípicos a los valores de los datos en los percentiles 5 y 95. Por lo tanto, una winsorización del 90 % daría como resultado el siguiente conjunto de datos:

{92, 19, 101 , 58, 101 , 91, 26, 78, 10, 13, −5 , 101 , 86, 85, 15, 89, 89, 28, −5 , 41}
(N = 20, media = 55,65)

Tras la winsorización, la media se ha reducido a casi la mitad de su valor anterior y, en consecuencia, está más en consonancia o es más congruente con el conjunto de datos a partir del cual se calcula.

Explicación y distinción con el recorte/truncamiento.

Cabe señalar que la winsorización no equivale simplemente a excluir datos, que es un procedimiento más sencillo llamado recorte o truncamiento , sino que es un método de censura de datos.

En un estimador recortado, los valores extremos se descartan; en un estimador winsorizado, los valores extremos se reemplazan por ciertos percentiles (el mínimo y el máximo recortados).

Por lo tanto, una media winsorizada no es lo mismo que una media truncada o recortada . Por ejemplo, la media recortada del 10 % es el promedio del percentil 5 al 95 de los datos, mientras que la media winsorizada del 90 % asigna el 5 % inferior al percentil 5, el 5 % superior al percentil 95 y luego promedia los datos. La winsorización, por lo tanto, no cambia el número total de valores en el conjunto de datos, N. En el ejemplo anterior, la media recortada se obtendría del conjunto más pequeño (truncado):

{92, 19, 101 , 58, 91, 26, 78, 10, 13, 101 , 86, 85, 15, 89, 89, 28, −5 , 41}               
(N = 18, media recortada = 56,5)

En este caso, la media winsorizada puede expresarse de forma equivalente como un promedio ponderado del percentil 5, la media truncada y el percentil 95 (para este caso de una media winsorizada del 10%: 0,05 veces el percentil 5, 0,9 veces la media truncada del 10% y 0,05 veces el percentil 95). Sin embargo, en general, las estadísticas winsorizadas no tienen por qué expresarse en términos de la estadística truncada correspondiente.

De forma más formal, son distintos porque las estadísticas de orden no son independientes.

Usos

La winsorización se utiliza en el contexto de la metodología de encuestas para "recortar" los pesos extremos de no respuesta en las encuestas. [ 1 ] También se utiliza en la construcción de algunos índices bursátiles al analizar el rango de ciertos factores (por ejemplo, crecimiento y valor) para acciones particulares. [ 2 ]

Métodos de codificación

Python puede aplicar el método Winsor a los datos utilizando la biblioteca SciPy :

import numpy as np from scipy.stats.mstats import winsorize winsorize ( np . array ([ 92 , 19 , 101 , 58 , 1053 , 91 , 26 , 78 , 10 , 13 , - 40 , 101 , 86 , 85 , 15 , 89 , 89 , 28 , - 5 , 41 ]), limits = [ 0.05 , 0.05 ])

R puede winsorizar datos usando el paquete DescTools: [ 3 ]

biblioteca ( DescTools ) a <- c ( 92 , 19 , 101 , 58 , 1053 , 91 , 26 , 78 , 10 , 13 , -40 , 101 , 86 , 85 , 15 , 89 , 89 , 28 , -5 , 41 ) DescTools :: Winsorize ( a , probs = c ( 0.05 , 0.95 ))

Véase también

Referencias

  1. ↑ Lee, Brian K.; Lessler, Justin; Stuart, Elizabeth A. (2011). "Weight Trimming and Propensity Score Weighting" . PLOS ONE . 6 (3) e18174. Bibcode : 2011PLoSO...618174L . doi : 10.1371/journal.pone.0018174 . ISSN 1932-6203 . PMC 3069059. PMID 21483818 .   
  2. ↑ "2.2.1. Winsorización de la variable". Metodología del índice MSCI Global Investable Market Value and Growth (PDF) (Informe). MSCI . Febrero de 2021.
  3. ↑ Andri Signorell et al. (2021). DescTools: Herramientas para estadística descriptiva. Paquete R versión 0.99.41.
  • Hastings, Jr., Cecil; Mosteller, Frederick; Tukey, John W.; Winsor, Charles P. (1947). "Momentos bajos para muestras pequeñas: un estudio comparativo de estadísticas de orden" . Annals of Mathematical Statistics . 18 (3): 413– 426. doi : 10.1214/aoms/1177730388 .
  • Dixon, WJ (1960). "Estimación simplificada a partir de muestras normales censuradas" . Annals of Mathematical Statistics . 31 (2): 385– 391. doi : 10.1214/aoms/1177705900 .
  • Tukey, JW (1962). "El futuro del análisis de datos" . Annals of Mathematical Statistics . 33 (1): 1–67 [p. 18]. doi : 10.1214/aoms/1177704711 . JSTOR 2237638 . 
  • "Winsorización" . Blogueros de R. 30 de junio de 2011.