Bootstrapping (estadística)

Una gran ventaja del bootstrap es su simplicidad. Es una forma directa de obtener estimaciones de errores estándar e intervalos de confianza para estimadores complejos de la distribución, como percentiles, proporciones, razón de probabilidades y coeficientes de correlación. Sin embargo, a pesar de su simplicidad, el bootstrap se puede aplicar a diseños de muestreo complejos (por ejemplo, para una población dividida en s estratos con n _{observaciones} por estrato, un ejemplo de lo cual es un experimento de dosis-respuesta, donde el bootstrap se puede aplicar para cada estrato). ^{[ 15 ]} El bootstrap también es una forma apropiada de controlar y verificar la estabilidad de los resultados. Aunque para la mayoría de los problemas es imposible conocer el verdadero intervalo de confianza, el bootstrap es asintóticamente más preciso que los intervalos estándar obtenidos utilizando la varianza muestral y supuestos de normalidad. ^{[ 16 ]} El bootstrap también es un método conveniente que evita el costo de repetir el experimento para obtener otros grupos de datos de muestra.

El método bootstrap depende en gran medida del estimador utilizado y, aunque simple, su uso ingenuo no siempre produce resultados asintóticamente válidos y puede generar inconsistencias. ^{[ 17 ]} Si bien el bootstrap es (bajo ciertas condiciones) asintóticamente consistente , no ofrece garantías generales para muestras finitas. El resultado puede depender de la muestra representativa. La aparente simplicidad puede ocultar el hecho de que se hacen suposiciones importantes al realizar el análisis bootstrap (por ejemplo, independencia de las muestras o un tamaño de muestra suficientemente grande), las cuales se enunciarían de manera más formal en otros enfoques. Además, el bootstrap puede ser laborioso y no existen muchos programas informáticos disponibles para su aplicación, ya que es difícil automatizarlo utilizando paquetes estadísticos tradicionales. ^{[ 15 ]}

Los investigadores han recomendado un mayor número de muestras bootstrap a medida que ha aumentado la capacidad de cálculo disponible. Si los resultados pueden tener consecuencias importantes en el mundo real, entonces se debe utilizar la mayor cantidad de muestras posible, considerando la capacidad de cálculo y el tiempo disponibles. Aumentar el número de muestras no incrementa la cantidad de información en los datos originales; solo reduce los efectos de los errores de muestreo aleatorio que pueden surgir del propio procedimiento bootstrap. Además, hay evidencia de que un número de muestras superior a 100 produce mejoras insignificantes en la estimación de los errores estándar. ^{[ 18 ]} De hecho, según el desarrollador original del método bootstrap, incluso establecer el número de muestras en 50 probablemente conduzca a estimaciones de errores estándar bastante buenas. ^{[ 19 ]}

Adèr et al. recomiendan el procedimiento bootstrap para las siguientes situaciones: ^{[ 20 ]}

• Cuando la distribución teórica de un estadístico de interés es compleja o desconocida, el procedimiento de remuestreo (bootstrapping), al ser independiente de la distribución, proporciona un método indirecto para evaluar las propiedades de la distribución subyacente a la muestra y los parámetros de interés derivados de dicha distribución.

• Cuando el tamaño de la muestra es insuficiente para una inferencia estadística directa. Si la distribución subyacente es bien conocida, el método bootstrap ofrece una forma de tener en cuenta las distorsiones causadas por la muestra específica, que puede no ser totalmente representativa de la población.

• Cuando se deben realizar cálculos de potencia y se dispone de una pequeña muestra piloto, la mayoría de los cálculos de potencia y tamaño de muestra dependen en gran medida de la desviación estándar del estadístico de interés. Si la estimación utilizada es incorrecta, el tamaño de muestra requerido también lo será. Un método para obtener una idea de la variación del estadístico consiste en utilizar una pequeña muestra piloto y aplicar el método de remuestreo bootstrap para estimar la varianza.

Sin embargo, Athreya ha demostrado ^{[ 21 ]} que si se realiza un bootstrap ingenuo sobre la media muestral cuando la población subyacente carece de varianza finita (por ejemplo, una distribución de ley de potencias ), la distribución bootstrap no convergerá al mismo límite que la media muestral. En consecuencia, los intervalos de confianza basados ​​en una simulación de Monte Carlo del bootstrap podrían ser engañosos. Athreya afirma que «a menos que se tenga la certeza razonable de que la distribución subyacente no tiene colas pesadas , se debe dudar en utilizar el bootstrap ingenuo».

El método bootstrap es generalmente útil para estimar la distribución de una estadística (por ejemplo, media, varianza) sin utilizar supuestos de normalidad (como se requiere, por ejemplo, para una estadística z o una estadística t). En particular, el bootstrap es útil cuando no existe una forma analítica o una teoría asintótica (por ejemplo, un teorema del límite central aplicable ) que ayude a estimar la distribución de la estadística de interés. Esto se debe a que los métodos bootstrap pueden aplicarse a la mayoría de las cantidades aleatorias, por ejemplo, la razón entre la varianza y la media. Existen al menos dos formas de realizar el remuestreo de casos.

1. El algoritmo de Monte Carlo para el remuestreo de casos es bastante simple. Primero, remuestreamos los datos con reemplazo, y el tamaño de la remuestra debe ser igual al tamaño del conjunto de datos original. Luego, se calcula el estadístico de interés a partir de la remuestra del primer paso. Repetimos este procedimiento muchas veces para obtener una estimación más precisa de la distribución Bootstrap del estadístico. ^{[ 2 ]}
2. La versión "exacta" para el remuestreo de casos es similar, pero enumeramos exhaustivamente cada posible remuestreo del conjunto de datos. Esto puede ser computacionalmente costoso ya que hay un total de${\displaystyle {\binom {2n-1}{n}}={\frac {(2n-1)!}{n!(n-1)!}}}$diferentes remuestreos, donde n es el tamaño del conjunto de datos. Así, para ^{n =} 5  ,  10  ,  20,  30 hay 126, 92378, 6,89  ×  10¹⁰ y 5,91 × ^10¹⁶ remuestreos diferentes respectivamente. [ ^{22 ]}  

El bootstrapping puede interpretarse en un marco bayesiano utilizando un esquema que crea nuevos conjuntos de datos mediante la reponderación de los datos iniciales. Dado un conjunto de${\displaystyle N}$puntos de datos, la ponderación asignada a los puntos de datos${\displaystyle i}$en un nuevo conjunto de datos${\displaystyle {\mathcal {D}}^{J}}$es${\displaystyle w_{i}^{J}=x_{i}^{J}-x_{i-1}^{J}}$, dónde${\displaystyle \mathbf {x} ^{J}}$es una lista ordenada de menor a mayor${\displaystyle N-1}$números aleatorios distribuidos uniformemente en${\displaystyle [0,1]}$, precedido por 0 y seguido por 1. Las distribuciones de un parámetro inferidas a partir de la consideración de muchos conjuntos de datos de este tipo.${\displaystyle {\mathcal {D}}^{J}}$son entonces interpretables como distribuciones posteriores sobre ese parámetro. ^{[ 23 ]}

Bajo este esquema, se agrega una pequeña cantidad de ruido aleatorio centrado en cero (generalmente con distribución normal) a cada observación remuestreada. Esto es equivalente a muestrear a partir de una estimación de densidad de núcleo de los datos. Supongamos que K es una función de densidad de núcleo simétrica con varianza unitaria. El estimador de núcleo estándar${\displaystyle {\hat {f\,}}_{h}(x)}$de${\displaystyle f(x)}$es

${\displaystyle {\hat {f\,}}_{h}(x)={1 \over nh}\sum _{i=1}^{n}K\left({x-X_{i} \over h}\right),}$ ^{[ 24 ]}

dónde${\displaystyle h}$es el parámetro de suavizado. Y el estimador de la función de distribución correspondiente${\displaystyle {\hat {F\,}}_{h}(x)}$es

${\displaystyle {\hat {F\,}}_{h}(x)=\int _{-\infty }^{x}{\hat {f}}_{h}(t)\,dt.}$ ^{[ 24 ]}

Partiendo de la premisa de que el conjunto de datos original es una realización de una muestra aleatoria de una distribución de un tipo paramétrico específico, en este caso se ajusta un modelo paramétrico mediante el parámetro θ, a menudo por máxima verosimilitud , y se extraen muestras de números aleatorios de este modelo ajustado. Normalmente, la muestra extraída tiene el mismo tamaño que los datos originales. Entonces, la estimación de la función original F se puede escribir como${\displaystyle {\hat {F}}=F_{\hat {\theta }}}$Este proceso de muestreo se repite muchas veces, al igual que en otros métodos bootstrap. Considerando la media de la muestra centrada en este caso, la función de distribución original de la muestra aleatoria${\displaystyle F_{\theta }}$se reemplaza por una muestra aleatoria bootstrap con función${\displaystyle F_{\hat {\theta }}}$y la distribución de probabilidad de${\displaystyle {\bar {X_{n}}}-\mu _{\theta }}$se aproxima mediante el de${\displaystyle {\bar {X}}_{n}^{*}-\mu ^{*}}$, dónde${\displaystyle \mu ^{*}=\mu _{\hat {\theta }}}$, que es la expectativa correspondiente a${\displaystyle F_{\hat {\theta }}}$. ^{[ 25 ]} El uso de un modelo paramétrico en la etapa de muestreo de la metodología bootstrap conduce a procedimientos que son diferentes de los obtenidos al aplicar la teoría estadística básica a la inferencia para el mismo modelo .

Otro enfoque para el bootstrapping en problemas de regresión es el remuestreo de residuos . El método procede de la siguiente manera.

1. Ajusta el modelo y conserva los valores ajustados.${\displaystyle {\widehat {y\,}}_{i}}$y los residuos${\displaystyle {\widehat {\varepsilon \,}}_{i}=y_{i}-{\widehat {y\,}}_{i},(i=1,\dots ,n)}$.
2. Para cada par, ( x _i , y _i ), en el que x _i es la variable explicativa (posiblemente multivariada), agregue un residuo remuestreado aleatoriamente,${\displaystyle {\widehat {\varepsilon \,}}_{j}}$, al valor ajustado${\displaystyle {\widehat {y\,}}_{i}}$En otras palabras, crear variables de respuesta sintéticas.${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{j}}$donde j se selecciona aleatoriamente de la lista (1, ..., n ) para cada i .
3. Vuelva a ajustar el modelo utilizando las variables de respuesta ficticias.${\displaystyle y_{i}^{*}}$y conservar las cantidades de interés (a menudo los parámetros,${\displaystyle {\widehat {\mu }}_{i}^{*}}$, estimado a partir del sintético${\displaystyle y_{i}^{*}}$).
4. Repita los pasos 2 y 3 un gran número de veces.

Este método tiene la ventaja de conservar la información de las variables explicativas. Sin embargo, surge la pregunta de qué residuos remuestrear. Una opción son los residuos brutos; otra son los residuos estudentizados (en regresión lineal). Si bien existen argumentos a favor del uso de residuos estudentizados, en la práctica, la diferencia suele ser mínima y resulta sencillo comparar los resultados de ambos métodos.

Cuando los datos están correlacionados temporalmente, el remuestreo directo destruye las correlaciones inherentes. Este método utiliza la regresión de procesos gaussianos (GPR) para ajustar un modelo probabilístico a partir del cual se pueden extraer réplicas. La GPR es un método de regresión no lineal bayesiano. Un proceso gaussiano (GP) es una colección de variables aleatorias, cualquier número finito de las cuales tiene una distribución gaussiana (normal) conjunta. Un GP se define mediante una función de media y una función de covarianza, que especifican los vectores de media y las matrices de covarianza para cada colección finita de variables aleatorias. ^{[ 26 ]}

Modelo de regresión:

${\displaystyle y(x)=f(x)+\varepsilon ,\ \ \varepsilon \sim {\mathcal {N}}(0,\sigma ^{2}),}$${\displaystyle \varepsilon }$es un término de ruido.

Prior de proceso gaussiano:

Para cualquier conjunto finito de variables, x ₁ ,  ..., x _n , la función produce: ${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$se distribuyen conjuntamente según una gaussiana multivariada con media${\displaystyle m=[m(x_{1}),\ldots ,m(x_{n})]^{\intercal }}$y matriz de covarianza${\displaystyle (K)_{ij}=k(x_{i},x_{j}).}$

Asumir${\displaystyle f(x)\sim {\mathcal {GP}}(m,k).}$Entonces${\displaystyle y(x)\sim {\mathcal {GP}}(m,l)}$,

dónde${\displaystyle l(x_{i},x_{j})=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j})}$, y${\displaystyle \delta (x_{i},x_{j})}$es la función delta de Kronecker estándar. ^{[ 26 ]}

Proceso gaussiano posterior:

Según el médico de cabecera anterior, podemos obtener

${\displaystyle [y(x_{1}),\ldots ,y(x_{r})]\sim {\mathcal {N}}(m_{0},K_{0})}$,

dónde${\displaystyle m_{0}=[m(x_{1}),\ldots ,m(x_{r})]^{\intercal }}$y${\displaystyle (K_{0})_{ij}=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j}).}$

Sea x ₁ ^* ,...,x _s ^* otra colección finita de variables, es obvio que

${\displaystyle [y(x_{1}),\ldots ,y(x_{r}),f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\sim {\mathcal {N}}({\binom {m_{0}}{m_{*}}}{\begin{pmatrix}K_{0}&K_{*}\\K_{*}^{\intercal }&K_{**}\end{pmatrix}})}$,

dónde${\displaystyle m_{*}=[m(x_{1}^{*}),\ldots ,m(x_{s}^{*})]^{\intercal }}$,${\displaystyle (K_{**})_{ij}=k(x_{i}^{*},x_{j}^{*})}$,${\displaystyle (K_{*})_{ij}=k(x_{i},x_{j}^{*}).}$

Según las ecuaciones anteriores, las salidas y también se distribuyen conjuntamente según una distribución gaussiana multivariada. Por lo tanto,

${\displaystyle [f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\mid ([y(x)]^{\intercal }=y)\sim {\mathcal {N}}(m_{\text{post}},K_{\text{post}}),}$

dónde${\displaystyle y=[y_{1},...,y_{r}]^{\intercal }}$,${\displaystyle m_{\text{post}}=m_{*}+K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}(y-m_{0})}$,${\displaystyle K_{\text{post}}=K_{**}-K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}K_{*}}$, y${\displaystyle I_{r}}$es${\displaystyle r\times r}$matriz identidad. ^{[ 26 ]}

El bootstrap salvaje, propuesto originalmente por Wu (1986), ^{[ 27 ]} es adecuado cuando el modelo presenta heterocedasticidad . La idea es, al igual que el bootstrap residual, dejar los regresores en su valor muestral, pero remuestrear la variable de respuesta en función de los valores residuales. Es decir, para cada réplica, se calcula un nuevo${\displaystyle y}$Residencia en

${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{i}v_{i}}$

por lo que los residuos se multiplican aleatoriamente por una variable aleatoria.${\displaystyle v_{i}}$con media 0 y varianza 1. Para la mayoría de las distribuciones de${\displaystyle v_{i}}$(pero no el de Mammen), este método supone que la distribución residual "verdadera" es simétrica y puede ofrecer ventajas sobre el muestreo residual simple para tamaños de muestra más pequeños. Se utilizan diferentes formas para la variable aleatoria.${\displaystyle v_{i}}$, como

• La distribución normal estándar

• Una distribución sugerida por Mammen (1993). ^{[ 28 ]}

${\displaystyle v_{i}={\begin{cases}-({\sqrt {5}}-1)/2&{\text{with probability }}({\sqrt {5}}+1)/(2{\sqrt {5}}),\\({\sqrt {5}}+1)/2&{\text{with probability }}({\sqrt {5}}-1)/(2{\sqrt {5}})\end{cases}}}$

Aproximadamente, la distribución de Mammen es:

${\displaystyle v_{i}={\begin{cases}-0.6180\quad {\text{(with a 0 in the units' place)}}&{\text{with probability }}0.7236,\\+1.6180\quad {\text{(with a 1 in the units' place)}}&{\text{with probability }}0.2764.\end{cases}}}$

• O la distribución más simple, vinculada a la distribución de Rademacher :

${\displaystyle v_{i}={\begin{cases}-1&{\text{with probability }}1/2,\\+1&{\text{with probability }}1/2.\end{cases}}}$

El método bootstrap por bloques se utiliza cuando los datos o los errores de un modelo están correlacionados. En este caso, un remuestreo simple o residual no funcionará, ya que no puede replicar la correlación en los datos. El método bootstrap por bloques intenta replicar la correlación mediante el remuestreo dentro de bloques de datos (véase Bloqueo (estadística) ). Este método se ha utilizado principalmente con datos correlacionados en el tiempo (es decir, series temporales), pero también puede utilizarse con datos correlacionados en el espacio o entre grupos (los llamados datos de clúster).

La mayoría de los métodos bootstrap son algoritmos fácilmente paralelizable . Es decir, la estadística de interés para cada muestra bootstrap no depende de las demás muestras bootstrap. Por lo tanto, estos cálculos pueden realizarse en CPU o nodos de cómputo independientes, y los resultados de cada nodo se agregan posteriormente para el análisis final.

El bootstrap no paramétrico muestrea elementos de una lista de tamaño n con recuentos extraídos de una distribución multinomial . Si${\displaystyle W_{i}}$denota el número de veces que el elemento i se incluye en una muestra bootstrap dada, entonces cada${\displaystyle W_{i}}$se distribuye como una distribución binomial con n ensayos y media 1, pero${\displaystyle W_{i}}$no es independiente de${\displaystyle W_{j}}$para${\displaystyle i\neq j}$.

El bootstrap de Poisson en cambio extrae muestras asumiendo que todos${\displaystyle W_{i}}$Las variables se distribuyen de forma independiente e idéntica como variables de Poisson con media 1. La razón es que el límite de la distribución binomial es Poisson:

${\displaystyle \lim _{n\to \infty }\operatorname {Binomial} (n,1/n)=\operatorname {Poisson} (1)}$

Hanley y MacGibbon propusieron el método bootstrap de Poisson como potencialmente útil para personas sin conocimientos de estadística que utilizan software como SAS y SPSS , los cuales carecían de los paquetes bootstrap de los lenguajes de programación R y S-Plus . ^{[ 34 ]} Los mismos autores informan que, para valores de n suficientemente grandes, los resultados son relativamente similares a las estimaciones bootstrap no paramétricas, pero señalan que el método bootstrap de Poisson ha tenido un uso mínimo en aplicaciones.

Otra ventaja propuesta del bootstrap de Poisson es la independencia de la${\displaystyle W_{i}}$hace que el método sea más fácil de aplicar a grandes conjuntos de datos que deben procesarse como flujos. ^{[ 35 ]}

Una forma de mejorar el bootstrap de Poisson, denominado "bootstrap secuencial", consiste en tomar las primeras muestras de manera que la proporción de valores únicos sea ≈0,632 del tamaño de muestra original n. Esto proporciona una distribución con características empíricas principales que se encuentran dentro de una distancia de${\displaystyle O(n^{3/4})}$. ^{[ 36 ]} La investigación empírica ha demostrado que este método puede producir buenos resultados. ^{[ 37 ]} Esto está relacionado con el método bootstrap reducido. ^{[ 38 ]}

Para conjuntos de datos masivos, a menudo resulta computacionalmente prohibitivo mantener todos los datos de muestra en memoria y volver a muestrear a partir de ellos. El Bag of Little Bootstraps (BLB) ^{[ 39 ]} proporciona un método para preagregar datos antes del bootstrapping para reducir las restricciones computacionales. Esto funciona particionando el conjunto de datos en${\displaystyle b}$cubos de igual tamaño y agregación de los datos dentro de cada cubo. Este conjunto de datos preagregados se convierte en los nuevos datos de muestra sobre los cuales se extraen muestras con reemplazo. Este método es similar al Bootstrap de bloques, pero las motivaciones y definiciones de los bloques son muy diferentes. Bajo ciertas suposiciones, la distribución de la muestra debería aproximarse al escenario bootstrap completo. Una restricción es el número de cubos.${\displaystyle b=n^{\gamma }}$dónde${\displaystyle \gamma \in [0.5,1]}$y los autores recomiendan el uso de${\displaystyle b=n^{0.7}}$como solución general.

El estudio de los métodos de intervalos de confianza bootstrap de DiCiccio y Efron, y la consiguiente discusión, enumera varias propiedades deseables de los intervalos de confianza, que generalmente no se cumplen todas simultáneamente.

• Invariante a la transformación : idealmente, los intervalos de confianza obtenidos mediante el método bootstrap con datos transformados (por ejemplo, aplicando el logaritmo) serían los mismos que los obtenidos mediante la transformación de los intervalos de confianza con los datos sin transformar.
• Los intervalos de confianza deben ser válidos o consistentes , es decir, la probabilidad de que un parámetro esté en un intervalo de confianza con un nivel nominal${\displaystyle 1-\alpha }$debería ser igual a o al menos converger en probabilidad a${\displaystyle 1-\alpha }$. Este último criterio se refina y amplía utilizando el marco de Hall. ^{[ 41 ]} Los refinamientos consisten en distinguir entre métodos en función de la rapidez con que la verdadera probabilidad de cobertura se aproxima al valor nominal, donde un método es (utilizando la terminología de DiCiccio y Efron) de primer orden si el término de error en la aproximación es${\displaystyle O(1/{\sqrt {n}})}$y de segundo orden si el término de error es${\displaystyle O(n^{-1})}$Además, los métodos se distinguen por la velocidad con la que el punto crítico bootstrap estimado converge al punto verdadero (desconocido), y un método es correcto de segundo orden cuando esta tasa es${\displaystyle O_{p}(n^{-3/2})}$.
• Gleser, en la discusión del artículo, argumenta que una limitación de las descripciones asintóticas en el punto anterior es que la${\displaystyle O(\cdot )}$Los términos no son necesariamente uniformes en los parámetros o en la distribución real.

• Sesgo : La distribución bootstrap y la muestra pueden discrepar sistemáticamente, en cuyo caso puede producirse un sesgo .

  Si la distribución bootstrap de un estimador es simétrica, se suelen utilizar intervalos de confianza percentiles; estos intervalos son especialmente apropiados para estimadores insesgados con respecto a la mediana y de riesgo mínimo (en relación con una función de pérdida absoluta ). El sesgo en la distribución bootstrap conlleva un sesgo en el intervalo de confianza.

  De lo contrario, si la distribución bootstrap no es simétrica, los intervalos de confianza percentiles suelen ser inapropiados.

Existen varios métodos para construir intervalos de confianza a partir de la distribución bootstrap de un parámetro real :

• Bootstrap básico , ^{[ 40 ]} también conocido como intervalo percentil inverso . ^{[ 42 ]} El bootstrap básico es un esquema simple para construir el intervalo de confianza: simplemente se toman los cuantiles empíricos de la distribución bootstrap del parámetro (véase Davison y Hinkley 1997, ec. 5.6 pág.  194):

${\displaystyle (2{\widehat {\theta \,}}-\theta _{(1-\alpha /2)}^{*},2{\widehat {\theta \,}}-\theta _{(\alpha /2)}^{*})}$dónde${\displaystyle \theta _{(1-\alpha /2)}^{*}}$denota el${\displaystyle 1-\alpha /2}$percentil de los coeficientes obtenidos mediante remuestreo${\displaystyle \theta ^{*}}$.

• Bootstrap de percentiles . El bootstrap de percentiles procede de forma similar al bootstrap básico, utilizando percentiles de la distribución bootstrap, pero con una fórmula diferente (nótese la inversión de los cuantiles izquierdo y derecho):

${\displaystyle (\theta _{(\alpha /2)}^{*},\theta _{(1-\alpha /2)}^{*})}$dónde${\displaystyle \theta _{(1-\alpha /2)}^{*}}$denota el${\displaystyle 1-\alpha /2}$percentil de los coeficientes obtenidos mediante remuestreo${\displaystyle \theta ^{*}}$.

Véase Davison y Hinkley (1997, equ. 5.18 p.  203) y Efron y Tibshirani (1993, equ. 13.5 p.  171).

Este método puede aplicarse a cualquier estadístico. Funciona bien en casos donde la distribución bootstrap es simétrica y centrada en el estadístico observado ^{[ 43 ]} y donde el estadístico muestral no tiene sesgo con respecto a la mediana y tiene la máxima concentración (o el mínimo riesgo con respecto a una función de pérdida de valor absoluto). Al trabajar con tamaños de muestra pequeños (es decir, menos de 50), los intervalos de confianza percentiles básicos/inversos y percentiles para (por ejemplo) el estadístico de varianza serán demasiado estrechos. De modo que con una muestra de 20 puntos, el intervalo de confianza del 90% incluirá la varianza verdadera solo el 78% de las veces. ^{[ 44 ]} Los intervalos de confianza percentiles básicos/inversos son más fáciles de justificar matemáticamente ^{[ 45 ] [ 42 ]} , pero son menos precisos en general que los intervalos de confianza percentiles, y algunos autores desaconsejan su uso. ^{[ 42 ]}

• Bootstrap estudentizado . El bootstrap estudentizado, también llamado bootstrap-t , se calcula de forma análoga al intervalo de confianza estándar, pero reemplaza los cuantiles de la aproximación normal o de Student por los cuantiles de la distribución bootstrap de la prueba t de Student (véase Davison y Hinkley 1997, ecuación 5.7, pág. 194 y Efron y Tibshirani 1993, ecuación 12.22, pág. 160):

${\displaystyle ({\widehat {\theta \,}}-t_{(1-\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta },{\widehat {\theta \,}}-t_{(\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta })}$dónde${\displaystyle t_{(1-\alpha /2)}^{*}}$denota el${\displaystyle 1-\alpha /2}$percentil de la prueba t de Student con remuestreo${\displaystyle t^{*}=({\widehat {\theta \,}}^{*}-{\widehat {\theta \,}})/{\widehat {\text{se}}}_{{\widehat {\theta \,}}^{*}}}$, y${\displaystyle {\widehat {\text{se}}}_{\theta }}$es el error estándar estimado del coeficiente en el modelo original.

La prueba estudentizada goza de propiedades óptimas ya que el estadístico que se remuestrea es fundamental (es decir, no depende de parámetros de perturbación, ya que la prueba t sigue asintóticamente una distribución N(0,1)), a diferencia del remuestreo percentil.

• Bootstrap con corrección de sesgo : ajusta el sesgo en la distribución bootstrap.
• Bootstrap acelerado : El bootstrap acelerado y con corrección de sesgo (BCa), de Efron (1987), ^{[ 12 ]} ajusta tanto el sesgo como la asimetría en la distribución bootstrap. Este enfoque es preciso en una amplia variedad de escenarios, tiene requisitos computacionales razonables y produce intervalos razonablemente estrechos. ^{[ 12 ]}

En 1878, Simon Newcomb realizó observaciones sobre la velocidad de la luz . ^{[ 46 ]} El conjunto de datos contiene dos valores atípicos , que influyen considerablemente en la media muestral . (La media muestral no tiene por qué ser un estimador consistente para ninguna media poblacional , ya que no es necesario que exista una media para una distribución de cola pesada ). Una estadística bien definida y robusta para la tendencia central es la mediana muestral, que es consistente y no está sesgada con respecto a la mediana poblacional.

La distribución bootstrap para los datos de Newcomb aparece a continuación. Podemos reducir la discreción de la distribución bootstrap agregando una pequeña cantidad de ruido aleatorio a cada muestra bootstrap. Una opción convencional es agregar ruido con una desviación estándar de${\displaystyle \sigma /{\sqrt {n}}}$para un tamaño de muestra n ; este ruido a menudo se extrae de una distribución t de Student con n-1 grados de libertad. ^{[ 47 ]} Esto da como resultado un estimador aproximadamente insesgado para la varianza de la media muestral. ^{[ 48 ]} Esto significa que las muestras tomadas de la distribución bootstrap tendrán una varianza que es, en promedio, igual a la varianza de la población total.

A continuación se muestran los histogramas de la distribución bootstrap y la distribución bootstrap suavizada. La distribución bootstrap de la mediana muestral tiene un número reducido de valores. La distribución bootstrap suavizada tiene un soporte más amplio . Sin embargo, cabe señalar que la conveniencia del procedimiento bootstrap suavizado o estándar depende de cada caso y se ha demostrado que varía según la función de distribución subyacente y la magnitud que se estima. ^{[ 49 ]}

En este ejemplo, el intervalo de confianza del 95% (percentil) obtenido mediante bootstrap para la mediana de la población es (26, 28,5), que está cerca del intervalo (25,98, 28,46) para el bootstrap suavizado.

El bootstrap se distingue de:

• el procedimiento jackknife , utilizado para estimar los sesgos de las estadísticas de muestra y para estimar las varianzas, y
• validación cruzada , en la que los parámetros (por ejemplo, ponderaciones de regresión, cargas factoriales) que se estiman en una submuestra se aplican a otra submuestra.

El método de agregación bootstrap (bagging) es un metaalgoritmo basado en promediar las predicciones de modelos obtenidas a partir de modelos entrenados con múltiples muestras bootstrap.

En situaciones donde se puede diseñar una estadística obvia para medir una característica requerida utilizando solo un número pequeño, r , de elementos de datos, se puede formular una estadística correspondiente basada en la muestra completa. Dada una estadística de r muestras, se puede crear una estadística de n muestras mediante un método similar al bootstrapping (calculando el promedio de la estadística sobre todas las submuestras de tamaño r ). Se sabe que este procedimiento tiene ciertas propiedades favorables y el resultado es una estadística U. La media y la varianza muestrales tienen esta forma, para r  =  1 y r  =  2.

Este párrafo resume descripciones más completas de la convergencia estocástica en van der Vaart y Wellner ^{[ 50 ]} y Kosorok. ^{[ 51 ]} El bootstrap define un proceso estocástico , una colección de variables aleatorias indexadas por algún conjunto${\displaystyle T}$, dónde${\displaystyle T}$es típicamente la línea real (${\displaystyle \mathbb {R} }$) o una familia de funciones. Los procesos de interés son aquellos con trayectorias de muestra acotadas, es decir, trayectorias de muestra en L-infinito (${\displaystyle \ell ^{\infty }(T)}$), el conjunto de todas las funciones uniformemente acotadas desde${\displaystyle T}$a${\displaystyle \mathbb {R} }$. Cuando está equipado con la distancia uniforme,${\displaystyle \ell ^{\infty }(T)}$es un espacio métrico y cuando${\displaystyle T=\mathbb {R} }$, dos subespacios de${\displaystyle \ell ^{\infty }(T)}$son de particular interés,${\displaystyle C[0,1]}$, el espacio de todas las funciones continuas desde${\displaystyle T}$al intervalo unitario [0,1], y${\displaystyle D[0,1]}$, el espacio de todas las funciones cadlag de${\displaystyle T}$a [0,1]. Esto se debe a que${\displaystyle C[0,1]}$contiene las funciones de distribución para todas las variables aleatorias continuas, y${\displaystyle D[0,1]}$Contiene las funciones de distribución para todas las variables aleatorias. Las afirmaciones sobre la consistencia del bootstrap son afirmaciones sobre la convergencia de las trayectorias de muestra del proceso bootstrap como elementos aleatorios del espacio métrico.${\displaystyle \ell ^{\infty }(T)}$o algún subespacio del mismo, especialmente${\displaystyle C[0,1]}$o${\displaystyle D[0,1]}$.

Horowitz en una revisión reciente ^{[ 1 ]} define la consistencia como: el estimador bootstrap${\displaystyle G_{n}(\cdot ,F_{n})}$es consistente [para una estadística]${\displaystyle T_{n}}$] si, para cada${\displaystyle F_{0}}$,${\displaystyle \sup _{\tau }|G_{n}(\tau ,F_{n})-G_{\infty }(\tau ,F_{0})|}$converge en probabilidad a 0 cuando${\displaystyle n\to \infty }$, dónde${\displaystyle F_{n}}$es la distribución empírica de la muestra original,${\displaystyle F_{0}}$es la distribución verdadera pero desconocida del estadístico,${\displaystyle G_{\infty }(\tau ,F_{0})}$es la función de distribución asintótica de${\displaystyle T_{n}}$, y${\displaystyle \tau }$es la variable de indexación en la función de distribución, es decir,${\displaystyle P(T_{n}\leq \tau )=G_{n}(\tau ,F_{0})}$Esto a veces se denomina más específicamente consistencia en relación con la distancia de Kolmogorov-Smirnov . ^{[ 52 ]}

Horowitz continúa recomendando el uso de un teorema de Mammen ^{[ 53 ]} que proporciona condiciones necesarias y suficientes más fáciles de verificar para la consistencia de estadísticas de una forma común determinada. En particular, sea${\displaystyle \{X_{i}:i=1,\ldots ,n\}}$sea ​​la muestra aleatoria. Si${\displaystyle T_{n}={\frac {\sum _{i=1}^{n}g_{n}(X_{i})-t_{n}}{\sigma _{n}}}}$para una secuencia de números${\displaystyle t_{n}}$y${\displaystyle \sigma _{n}}$, entonces la estimación bootstrap de la función de distribución acumulativa estima la función de distribución acumulativa empírica si y solo si${\displaystyle T_{n}}$converge en distribución a la distribución normal estándar .

La convergencia en probabilidad (externa), tal como se describió anteriormente, también se denomina consistencia débil . Con supuestos ligeramente más estrictos, también se puede demostrar que el bootstrap es fuertemente consistente , donde la convergencia en probabilidad (externa) se reemplaza por convergencia (externa) casi segura. Cuando solo se describe un tipo de consistencia, suele ser consistencia débil. Esto es suficiente para la mayoría de las aplicaciones estadísticas, ya que implica que las bandas de confianza derivadas del bootstrap son asintóticamente válidas. ^{[ 51 ]}

En casos más sencillos, es posible utilizar directamente el teorema del límite central para demostrar la consistencia del procedimiento bootstrap para estimar la distribución de la media muestral.

En concreto, consideremos${\displaystyle X_{n1},\ldots ,X_{nn}}$variables aleatorias independientes idénticamente distribuidas con${\displaystyle \mathbb {E} [X_{n1}]=\mu }$y${\displaystyle {\text{Var}}[X_{n1}]=\sigma ^{2}<\infty }$para cada${\displaystyle n\geq 1}$. Dejar${\displaystyle {\bar {X}}_{n}=n^{-1}(X_{n1}+\cdots +X_{nn})}$. Además, para cada${\displaystyle n\geq 1}$, condicionado a${\displaystyle X_{n1},\ldots ,X_{nn}}$, dejar${\displaystyle X_{n1}^{*},\ldots ,X_{nn}^{*}}$sean variables aleatorias independientes con distribución igual a la distribución empírica de${\displaystyle X_{n1},\ldots ,X_{nn}}$Esta es la secuencia de muestras bootstrap.

Entonces se puede demostrar que $${\displaystyle \sup _{\tau \in \mathbb {R} }\left|P^{*}\left({\frac {{\sqrt {n}}({\bar {X}}_{n}^{*}-{\bar {X}}_{n})}{{\hat {\sigma }}_{n}}}\leq \tau \right)-P\left({\frac {{\sqrt {n}}({\bar {X}}_{n}-\mu )}{\sigma }}\leq \tau \right)\right|\to 0{\text{ in probability as }}n\to \infty ,}$$ dónde${\displaystyle P^{*}}$representa la probabilidad condicionada a${\displaystyle X_{n1},\ldots ,X_{nn}}$,${\displaystyle n\geq 1}$,${\displaystyle {\bar {X}}_{n}^{*}=n^{-1}(X_{n1}^{*}+\cdots +X_{nn}^{*})}$, y${\displaystyle {\hat {\sigma }}_{n}^{2}=n^{-1}\sum _{i=1}^{n}(X_{ni}-{\bar {X}}_{n})^{2}}$.

Para ver esto, tenga en cuenta que${\displaystyle (X_{ni}^{*}-{\bar {X}}_{n})/{\sqrt {n}}{\hat {\sigma }}_{n}}$satisface la condición de Lindeberg , por lo que se cumple el CLT. ^{[ 54 ]}

El teorema de Glivenko-Cantelli proporciona la base teórica para el método bootstrap.