Hispanopedia Wiki
Articulo de referencia

Remuestreo (estadística)

En estadística , el remuestreo es la creación de nuevas muestras a partir de una muestra observada. Los métodos de remuestreo son: Pruebas de permutación (también pruebas de re-...

Hispanopedia WikiContenido en espanolLectura gratuita

En estadística , el remuestreo es la creación de nuevas muestras a partir de una muestra observada. Los métodos de remuestreo son:

  1. Pruebas de permutación (también pruebas de re-aleatorización) para generar muestras contrafactuales.
  2. Autoarranque
  3. Validación cruzada
  4. Navaja

Pruebas de permutación

Las pruebas de permutación se basan en el remuestreo de los datos originales bajo la hipótesis nula. A partir de los datos remuestreados, se puede determinar la probabilidad de que los datos originales se presenten bajo la hipótesis nula.

Oreja

El mejor ejemplo del principio de complemento es el método de arranque.

El bootstrapping es un método estadístico para estimar la distribución muestral de un estimador mediante el muestreo con reemplazo de la muestra original, generalmente con el propósito de obtener estimaciones robustas de los errores estándar y los intervalos de confianza de un parámetro poblacional como la media , la mediana , la proporción , la razón de probabilidades , el coeficiente de correlación o el coeficiente de regresión . Se le ha denominado principio de sustitución , [ 1 ] ya que es el método de estimación de funcionales de una distribución poblacional evaluando los mismos funcionales en la distribución empírica basada en una muestra.

Por ejemplo, [ 1 ] al estimar la media poblacional , este método utiliza la media muestral ; para estimar la mediana poblacional , utiliza la mediana muestral; para estimar la línea de regresión poblacional , utiliza la línea de regresión muestral.

También puede utilizarse para construir pruebas de hipótesis. A menudo se utiliza como una alternativa robusta a la inferencia basada en supuestos paramétricos cuando dichos supuestos son dudosos, o cuando la inferencia paramétrica es imposible o requiere fórmulas muy complicadas para el cálculo de errores estándar. Las técnicas de bootstrapping también se utilizan en las transiciones de actualización-selección de filtros de partículas , algoritmos de tipo genético y métodos de Monte Carlo de remuestreo/reconfiguración relacionados utilizados en física computacional . [ 2 ] [ 3 ] En este contexto, el bootstrap se utiliza para reemplazar secuencialmente medidas de probabilidad ponderadas empíricas por medidas empíricas . El bootstrap permite reemplazar las muestras con pesos bajos por copias de las muestras con pesos altos.

Validación cruzada

La validación cruzada es un método estadístico para validar un modelo predictivo . Se reservan subconjuntos de los datos para su uso como conjuntos de validación; se ajusta un modelo a los datos restantes (un conjunto de entrenamiento) y se utiliza para realizar predicciones en el conjunto de validación. El promedio de la calidad de las predicciones en los conjuntos de validación proporciona una medida general de la precisión de la predicción. La validación cruzada se emplea repetidamente en la construcción de árboles de decisión.

Una forma de validación cruzada excluye una sola observación a la vez; esto es similar al método jackknife . Otra, la validación cruzada K -fold, divide los datos en K subconjuntos; cada uno se reserva a su vez como conjunto de validación.

Esto evita la "autoinfluencia". En comparación, en métodos de análisis de regresión como la regresión lineal , cada valor de y atrae la línea de regresión hacia sí mismo, lo que hace que la predicción de ese valor parezca más precisa de lo que realmente es. La validación cruzada aplicada a la regresión lineal predice el valor de y para cada observación sin utilizar dicha observación.

Esto se usa frecuentemente para decidir cuántas variables predictoras usar en la regresión. Sin validación cruzada, agregar predictores siempre reduce la suma de cuadrados residuales (o posiblemente la deja sin cambios). Por el contrario, el error cuadrático medio con validación cruzada tenderá a disminuir si se agregan predictores valiosos, pero aumentará si se agregan predictores inútiles. [ 4 ]

Validación cruzada de Monte Carlo

El submuestreo es un método alternativo para aproximar la distribución muestral de un estimador. Las dos diferencias clave con el bootstrap son:

  1. el tamaño de la remuestra es menor que el tamaño de la muestra y
  2. El remuestreo se realiza sin reemplazo.

La ventaja del submuestreo radica en que es válido bajo condiciones mucho más débiles que el bootstrap. En particular, un conjunto de condiciones suficientes consiste en que se conozca la tasa de convergencia del estimador y que la distribución límite sea continua. Además, el tamaño de la remuestra (o submuestra) debe tender a infinito junto con el tamaño de la muestra, pero a una tasa menor, de modo que su cociente converja a cero. Si bien el submuestreo se propuso originalmente solo para el caso de datos independientes e idénticamente distribuidos (i.i.d.), la metodología se ha extendido para abarcar también datos de series temporales; en este caso, se remuestrean bloques de datos consecutivos en lugar de puntos de datos individuales. Existen muchos casos de interés aplicado en los que el submuestreo conduce a una inferencia válida, mientras que el bootstrap no; por ejemplo, en casos donde la tasa de convergencia del estimador no es la raíz cuadrada del tamaño de la muestra o cuando la distribución límite no es normal. Cuando tanto el submuestreo como el bootstrap son consistentes, el bootstrap suele ser más preciso. RANSAC es un algoritmo popular que utiliza submuestreo.

Validación cruzada Jackknife

El método jackknife (validación cruzada jackknife) se utiliza en inferencia estadística para estimar el sesgo y el error estándar (varianza) de un estadístico, cuando se utiliza una muestra aleatoria de observaciones para calcularlo. Históricamente, este método precedió a la invención del bootstrap, ya que Quenouille lo inventó en 1949 y Tukey lo extendió en 1958. [ 5 ] [ 6 ] Este método fue anticipado por Mahalanobis, quien en 1946 sugirió estimaciones repetidas del estadístico de interés con la mitad de la muestra elegida al azar. [ 7 ] Acuñó el nombre de "muestras interpenetrantes" para este método.

Quenouille inventó este método con la intención de reducir el sesgo de la estimación de la muestra. Tukey extendió este método asumiendo que si las réplicas se pudieran considerar distribuidas de forma idéntica e independiente, entonces se podría hacer una estimación de la varianza del parámetro de la muestra y que esta se distribuiría aproximadamente como una variable aleatoria con n −1 grados de libertad ( siendo n el tamaño de la muestra).

La idea básica del estimador de varianza jackknife consiste en recalcular sistemáticamente la estimación del estadístico, omitiendo una o más observaciones a la vez del conjunto de la muestra. A partir de este nuevo conjunto de réplicas del estadístico, se puede calcular una estimación del sesgo y una estimación de la varianza del estadístico. Jackknife es equivalente a la validación cruzada aleatoria (submuestreo) de dejar uno fuera; solo difiere en el objetivo. [ 8 ]

Para muchos parámetros estadísticos, la estimación jackknife de la varianza tiende asintóticamente al valor verdadero con casi total seguridad. En términos técnicos, se dice que la estimación jackknife es consistente . La estimación jackknife es consistente para las medias muestrales , las varianzas muestrales , los estadísticos t centrales y no centrales (con poblaciones posiblemente no normales), el coeficiente de variación muestral , los estimadores de máxima verosimilitud , los estimadores de mínimos cuadrados, los coeficientes de correlación y los coeficientes de regresión .

No es consistente para la mediana de la muestra . En el caso de una variable unimodal, la razón entre la varianza jackknife y la varianza de la muestra tiende a distribuirse como la mitad del cuadrado de una distribución chi cuadrado con dos grados de libertad .

En lugar de utilizar el método jackknife para estimar la varianza, se puede aplicar al logaritmo de la varianza. Esta transformación puede dar lugar a mejores estimaciones, especialmente cuando la distribución de la varianza no es normal.

El método jackknife, al igual que el bootstrap original, depende de la independencia de los datos. Se han propuesto extensiones del jackknife para permitir la dependencia entre los datos. Una de estas extensiones es el método de eliminación de grupos, utilizado en combinación con el muestreo de Poisson .

Comparación de bootstrap y jackknife

Ambos métodos, el bootstrap y el jackknife, estiman la variabilidad de una estadística a partir de la variabilidad de dicha estadística entre submuestras, en lugar de basarse en supuestos paramétricos. Para el jackknife más general, el jackknife con eliminación de m observaciones, el bootstrap puede considerarse una aproximación aleatoria del mismo. Ambos arrojan resultados numéricos similares, por lo que cada uno puede considerarse una aproximación del otro. Si bien existen grandes diferencias teóricas en sus fundamentos matemáticos, la principal diferencia práctica para los usuarios de estadística radica en que el bootstrap proporciona resultados diferentes al repetirse con los mismos datos, mientras que el jackknife ofrece exactamente el mismo resultado en cada ocasión. Por ello, el jackknife es popular cuando las estimaciones deben verificarse varias veces antes de su publicación (por ejemplo, en organismos estadísticos oficiales). Por otro lado, cuando esta verificación no es crucial y el interés no reside en obtener un valor numérico, sino simplemente una idea de su distribución, se prefiere el bootstrap (por ejemplo, en estudios de física, economía y ciencias biológicas).

La elección entre el método bootstrap y el jackknife puede depender más de aspectos operativos que de consideraciones estadísticas de la encuesta. El jackknife, originalmente utilizado para la reducción de sesgos, es un método más especializado que solo estima la varianza del estimador puntual. Esto puede ser suficiente para inferencias estadísticas básicas (por ejemplo, pruebas de hipótesis, intervalos de confianza). El bootstrap, por otro lado, primero estima la distribución completa (del estimador puntual) y luego calcula la varianza a partir de ella. Si bien es potente y sencillo, puede resultar computacionalmente muy intensivo.

El método bootstrap puede aplicarse tanto a problemas de estimación de varianza como de distribución. Sin embargo, el estimador de varianza bootstrap no es tan bueno como el jackknife o el estimador de varianza de replicación repetida balanceada (BRR) en términos de resultados empíricos. Además, el estimador de varianza bootstrap generalmente requiere más cálculos que el jackknife o el BRR. Por lo tanto, el bootstrap se recomienda principalmente para la estimación de distribución. [ 9 ]

Existe una consideración especial con el método jackknife, particularmente con el jackknife de eliminación de una observación. Solo debe usarse con estadísticas suaves y diferenciables (por ejemplo, totales, medias, proporciones, razones, razones de probabilidad, coeficientes de regresión, etc.; no con medianas ni cuantiles). Esto podría convertirse en una desventaja práctica. Esta desventaja suele ser el argumento a favor del bootstrapping sobre el jackknife. Los jackknifes más generales que el de eliminación de una observación, como el jackknife de eliminación de m observaciones o el estimador de Hodges-Lehmann de eliminación de todas las observaciones excepto dos , superan este problema para las medianas y los cuantiles al relajar los requisitos de suavidad para una estimación consistente de la varianza.

Por lo general, el método jackknife es más fácil de aplicar a esquemas de muestreo complejos que el bootstrap. Los esquemas de muestreo complejos pueden incluir estratificación, múltiples etapas (agrupamiento), ponderaciones de muestreo variables (ajustes por falta de respuesta, calibración, postestratificación) y diseños de muestreo con probabilidades desiguales. Los aspectos teóricos tanto del bootstrap como del jackknife se pueden encontrar en Shao y Tu (1995), [ 10 ] mientras que una introducción básica se encuentra en Wolter (2007). [ 11 ] La estimación bootstrap del sesgo de predicción del modelo es más precisa que las estimaciones jackknife con modelos lineales como la función discriminante lineal o la regresión múltiple. [ 12 ]

Véase también

Referencias

  1. 1 2 Logan, J. David y Wolesensky, Willian R. Métodos matemáticos en biología. Matemáticas puras y aplicadas: una serie de textos, monografías y tratados de Wiley-Interscience. John Wiley & Sons, Inc. 2009. Capítulo 6: Inferencia estadística. Sección 6.6: Métodos bootstrap
  2. ↑ Del Moral, Pierre (2004). Fórmulas de Feynman-Kac. Aproximaciones genealógicas y de partículas interactuantes . Probabilidad y sus aplicaciones. Springer. pág.  575. doi : 10.1007/978-1-4684-9393-1 . ISBN 978-1-4419-1902-1Serie : Probabilidad y aplicaciones
  3. ↑ Del Moral, Pierre (2013). Simulación de campo medio para la integración de Monte Carlo . Chapman & Hall/CRC Press. pág. 626. Monografías sobre estadística y probabilidad aplicada. 
  4. ↑ Verbyla, D. (1986). "Potencial sesgo de predicción en el análisis de regresión y discriminante". Revista Canadiense de Investigación Forestal . 16 (6): 1255– 1257. Bibcode : 1986CaJFR..16.1255V . doi : 10.1139/x86-222 .
  5. ↑ Quenouille, MH (1949). "Pruebas aproximadas de correlación en series temporales". Journal of the Royal Statistical Society, Serie B. 11 ( 1): 68– 84. doi : 10.1111/j.2517-6161.1949.tb00023.x . JSTOR 2983696 . 
  6. ↑ Tukey, JW (1958). "Sesgo y confianza en muestras no del todo grandes (Informe preliminar)". Annals of Mathematical Statistics . 29 (2): 614. JSTOR 2237363 . 
  7. ↑ Mahalanobis, PC (1946). "Actas de una reunión de la Real Sociedad Estadística celebrada el 16 de julio de 1946". Journal of the Royal Statistical Society . 109 (4): 325– 370. JSTOR 2981330 . 
  8. ↑ Enciclopedia de Bioinformática y Biología Computacional: ABC de la Bioinformática . Elsevier. 21 de agosto de 2018. pág. 544. ISBN  978-0-12-811432-2.
  9. ↑ Shao, J. y Tu, D. (1995). The Jackknife and Bootstrap. Springer-Verlag, Inc. págs. 281.
  10. ↑ Shao, J.; Tu, D. (1995). The Jackknife and Bootstrap . Springer.
  11. ↑ Wolter, KM (2007). Introducción a la estimación de la varianza (Segunda edición). Springer. 
  12. ↑ Verbyla, D.; Litvaitis, J. (1989). "Métodos de remuestreo para evaluar la precisión de la clasificación de modelos de hábitat de vida silvestre". Environmental Management . 13 (6): 783– 787. Bibcode : 1989EnMan..13..783V . doi : 10.1007/bf01868317 . S2CID 153448048 . 

Literatura

  • Good, P. (2006) Métodos de remuestreo . 3ª ed. Birkhauser.
  • Wolter, KM (2007). Introducción a la estimación de la varianza . 2ª edición. Springer, Inc.
  • Pierre Del Moral (2004). Fórmulas de Feynman-Kac. Sistemas de partículas genealógicas e interactuantes con aplicaciones, Springer, Serie Probabilidad y Aplicaciones. ISBN 978-0-387-20268-6
  • Pierre Del Moral (2013). Del Moral, Pierre (2013). Simulación de campo medio para la integración de Monte Carlo . Chapman & Hall/CRC Press, Monografías sobre estadística y probabilidad aplicada. ISBN 9781466504059
  • Jiang W, Simon R. Comparación de métodos bootstrap y un enfoque bootstrap ajustado para estimar el error de predicción en la clasificación de microarrays. Stat Med. 20 de diciembre de 2007;26(29):5320-34. doi: 10.1002/sim.2968. PMID: 17624926. https://brb.nci.nih.gov/techreport/prederr_rev_0407.pdf

Software

  • Angelo Canty y Brian Ripley (2010). boot : Funciones de Bootstrap R (S-Plus). Paquete R versión 1.2-43. Funciones y conjuntos de datos para bootstrapping del libro Bootstrap Methods and Their Applications de AC Davison y DV Hinkley (1997, CUP).
  • Estadística 101: Remuestreo, Bootstrap, Programa de simulación de Monte Carlo
  • Paquete R 'samplingVarEst': Estimación de la varianza muestral. Implementa funciones para estimar la varianza muestral de algunos estimadores puntuales.
  • Prueba de aleatorización/permutación pareada para la evaluación de los resultados de TREC
  • Pruebas de aleatorización/permutación para evaluar los resultados en experimentos de recuperación de información (con y sin ajustes para comparaciones múltiples).
  • Pruebas de hipótesis múltiples basadas en remuestreo de Bioconductor con aplicaciones a la genómica.
  • permtest: un paquete de R para comparar la variabilidad dentro y la distancia entre dos grupos dentro de un conjunto de datos de microarrays.
  • Remuestreo Bootstrap: demostración interactiva de pruebas de hipótesis con remuestreo bootstrap en R.
  • Prueba de permutación: demostración interactiva de la prueba de hipótesis con la prueba de permutación en R.
Lecturas relacionadas
6 articulos
EstadísticaEstadísticaLa distribución normal , una densidad de probabilidad muy común , se utiliza ampliamente en estadística inferencial . Los diagramas de dispersión y...Estilo de visualización H_{0}:F=GPrueba de permutaciónUna prueba de permutación (también llamada prueba de realeatorización o prueba de barajado) es una prueba de hipótesis estadística exacta que hace ...Condicional contrafácticoLos condicionales contrafácticos (también contrafácticos , subjuntivos o marcados con X ) son oraciones condicionales que discuten lo que habría si...Bootstrapping (estadísticas)El bootstrapping es un procedimiento para estimar la distribución de un estimador mediante un remuestreo (a menudo con reemplazo ) de los datos o d...Validación cruzada (estadística)Validación cruzada (estadística)La validación cruzada , [2] [3] [4] a veces llamada estimación de rotación [5] [6] [7] o prueba fuera de la muestra , es cualquiera de varias técni...Remuestreo con navajaRemuestreo con navajaEn estadística , el método jackknife (validación cruzada jackknife) es una técnica de validación cruzada y, por lo tanto, una forma de remuestreo ....