Agregación Bootstrap

El bootstrap aggregating , también llamado bagging (del latín bootstrap agg regating ) o bootstrapping , es un metaalgoritmo de conjunto de aprendizaje automático (ML) diseñado para mejorar la estabilidad y la precisión de los algoritmos de clasificación y regresión de ML . También reduce la varianza y el sobreajuste . Si bien se suele aplicar a métodos de árboles de decisión , puede utilizarse con cualquier tipo de método. Bagging es un caso especial del enfoque de promedio de conjunto .

Dado un conjunto de entrenamiento estándar${\displaystyle D}$de tamaño${\displaystyle n}$, el embolsado genera${\displaystyle m}$nuevos conjuntos de entrenamiento${\displaystyle D_{i}}$, cada uno de tamaño${\displaystyle n'}$, mediante muestreo de${\displaystyle D}$uniformemente y con reemplazo . Al muestrear con reemplazo, algunas observaciones pueden repetirse en cada${\displaystyle D_{i}}$. Si${\displaystyle n'=n}$, entonces para grandes${\displaystyle n}$el conjunto${\displaystyle D_{i}}$Se espera que tenga la fracción (1 - 1/ e ) (~63,2%) de las muestras únicas de${\displaystyle D}$, siendo el resto duplicados. ^{[ 1 ]} Este tipo de muestra se conoce como muestra bootstrap . El muestreo con reemplazo garantiza que cada bootstrap sea independiente de sus pares, ya que no depende de muestras elegidas previamente al muestrear. Entonces,${\displaystyle m}$Los modelos se ajustan utilizando las muestras bootstrap mencionadas anteriormente y se combinan promediando el resultado (para regresión) o mediante votación (para clasificación).

El bagging conduce a "mejoras para procedimientos inestables" ^{[ 2 ]} , que incluyen, por ejemplo, redes neuronales artificiales , árboles de clasificación y regresión , y selección de subconjuntos en regresión lineal ^{[ 3 ]} . Se ha demostrado que el bagging mejora el aprendizaje de preimágenes ^{[ 4 ] [ 5 ]} . Por otro lado, puede degradar levemente el rendimiento de métodos estables como los k vecinos más cercanos ^{[ 2 ]} .

Si bien las técnicas descritas anteriormente utilizan bosques aleatorios y bagging (también conocido como bootstrapping), existen ciertas técnicas que pueden emplearse para mejorar su tiempo de ejecución y votación, su precisión predictiva y su rendimiento general. A continuación, se detallan los pasos clave para crear un bosque aleatorio eficiente:

1. Especifique la profundidad máxima de los árboles: en lugar de permitir que el bosque aleatorio continúe hasta que todos los nodos sean puros, es mejor cortarlo en un punto determinado para disminuir aún más las posibilidades de sobreajuste.
2. Recorte el conjunto de datos: El uso de un conjunto de datos extremadamente grande puede generar resultados menos representativos de los datos proporcionados que un conjunto más pequeño que represente con mayor precisión aquello en lo que se centra la atención.
   • Continúe eliminando los datos en cada división de nodo, en lugar de hacerlo solo en el proceso de bagging original.
3. Decide entre precisión y velocidad: Según los resultados deseados, aumentar o disminuir la cantidad de árboles en el bosque puede ser útil. Generalmente, aumentar la cantidad de árboles proporciona resultados más precisos, mientras que disminuirla permite obtener resultados más rápidos.

Para la clasificación, utilice un conjunto de entrenamiento.${\displaystyle D}$, Inductor${\displaystyle I}$y el número de muestras bootstrap${\displaystyle m}$como entrada. Generar un clasificador${\displaystyle C^{*}}$como salida ^{[ 12 ]}

1. Crear${\displaystyle m}$nuevos conjuntos de entrenamiento ${\displaystyle D_{i}}$, de${\displaystyle D}$con reemplazo
2. Clasificador${\displaystyle C_{i}}$se construye a partir de cada conjunto${\displaystyle D_{i}}$usando${\displaystyle I}$para determinar la clasificación del conjunto${\displaystyle D_{i}}$
3. Finalmente, clasificador${\displaystyle C^{*}}$se genera utilizando el conjunto de clasificadores creado previamente${\displaystyle C_{i}}$en el conjunto de datos original${\displaystyle D}$, la clasificación predicha con mayor frecuencia por los subclasificadores${\displaystyle C_{i}}$es la clasificación final

para i = 1 a m { D' = muestra bootstrap de D (muestra con reemplazo) Ci = I(D') } C*(x) = argmax #{i:Ci(x)=y} (etiqueta predicha con mayor frecuencia: y) y∈Y 

Para ilustrar los principios básicos del bagging, a continuación se presenta un análisis sobre la relación entre el ozono y la temperatura (datos de Rousseeuw y Leroy (1986), análisis realizado en R ).

La relación entre la temperatura y el ozono parece ser no lineal en este conjunto de datos, según el diagrama de dispersión. Para describir matemáticamente esta relación, se utilizan suavizadores LOESS (con un ancho de banda de 0,5). En lugar de construir un único suavizador para el conjunto de datos completo, se extrajeron 100 muestras bootstrap . Cada muestra se compone de un subconjunto aleatorio de los datos originales y mantiene una semejanza con la distribución y la variabilidad del conjunto maestro. Para cada muestra bootstrap, se ajustó un suavizador LOESS. Posteriormente, se realizaron predicciones a partir de estos 100 suavizadores en todo el rango de los datos. Las líneas negras representan estas predicciones iniciales. Las líneas no coinciden en sus predicciones y tienden a sobreajustarse a sus puntos de datos, lo cual se evidencia en el flujo irregular de las líneas.

Al calcular el promedio de 100 suavizadores, cada uno correspondiente a un subconjunto del conjunto de datos original, obtenemos un predictor agregado (línea roja). El flujo de la línea roja es estable y no se ajusta excesivamente a ningún punto de datos.

Ventajas:

• Muchos aprendices débiles, en conjunto, suelen superar a un solo aprendiz en todo el conjunto y presentan menos sobreajuste.
• Reduce la varianza en el aprendiz débil de alta varianza y bajo sesgo , ^{[ 13 ]} lo que puede mejorar la eficiencia (estadística)
• Puede realizarse en paralelo , ya que cada bootstrap separado puede procesarse por separado antes de la agregación. ^{[ 14 ]}

Desventajas:

• Para un aprendiz débil con alto sesgo, el bagging también llevará un alto sesgo a su agregado ^{[ 13 ].}
• Pérdida de interpretabilidad de un modelo.
• Puede resultar computacionalmente costoso dependiendo del conjunto de datos.

El concepto de agregación bootstrap se deriva del concepto de bootstrapping desarrollado por Bradley Efron. ^{[ 15 ]} La agregación bootstrap fue propuesta por Leo Breiman , quien también acuñó el término abreviado "bagging" ( agregación bootstrap ) . Breiman desarrolló el concepto de bagging en 1994 para mejorar la clasificación mediante la combinación de clasificaciones de conjuntos de entrenamiento generados aleatoriamente. Argumentó: "Si perturbar el conjunto de aprendizaje puede causar cambios significativos en el predictor construido, entonces el bagging puede mejorar la precisión". ^{[ 3 ]}

• Impulso (aprendizaje automático)
• Bootstrapping (estadística)
• Validación cruzada (estadística)
• Error fuera de la bolsa
• Bosque aleatorio
• Método de subespacio aleatorio (bagaje de atributos)
• frontera eficiente remuestreada
• Análisis predictivo: árboles de clasificación y regresión

• Breiman, Leo (1996). "Bagging predictors". Machine Learning . 24 (2): 123– 140. CiteSeerX 10.1.1.32.9399 . doi : 10.1007/BF00058655 . S2CID 47328136 .  
• Alfaro, E., Gámez, M. y García, N. (2012). "adabag: un paquete R para clasificación con AdaBoost.M1, AdaBoost-SAMME y Bagging" .{{cite journal}}: La cita de la revista requiere |journal=( ayuda ) CS1 maint: nombres múltiples: lista de autores ( enlace )
• Kotsiantis, Sotiris (2014). "Variantes de bagging y boosting para el manejo de problemas de clasificación: una revisión". Knowledge Eng. Review . 29 (1): 78– 100. doi : 10.1017/S0269888913000313 . S2CID 27301684 . 
• Boehmke, Bradley; Greenwell, Brandon (2019). «Bagging». Aprendizaje automático práctico con R. Chapman & Hall. pp. 191–202 . ISBN  978-1-138-49568-5.