Hispanopedia WikiEl sesgo inductivo (también conocido como sesgo de aprendizaje ) de un algoritmo de aprendizaje es el conjunto de supuestos que el aprendiz utiliza para predecir salidas de entradas dadas que no ha encontrado. [ 1 ] El sesgo inductivo es cualquier cosa que haga que el algoritmo aprenda un patrón en lugar de otro (por ejemplo, funciones escalonadas en árboles de decisión en lugar de funciones continuas en modelos de regresión lineal ). El aprendizaje implica buscar en un espacio de soluciones una solución que proporcione una buena explicación de los datos. Sin embargo, en muchos casos, puede haber múltiples soluciones igualmente apropiadas. [ 2 ] Un sesgo inductivo permite que un algoritmo de aprendizaje priorice una solución (o interpretación) sobre otra, independientemente de los datos observados. [ 3 ]
En el aprendizaje automático , el objetivo es construir algoritmos capaces de aprender a predecir una salida objetivo determinada. Para lograrlo, se presentan al algoritmo de aprendizaje ejemplos de entrenamiento que demuestran la relación deseada entre los valores de entrada y salida. Se espera que el algoritmo se aproxime a la salida correcta, incluso para ejemplos que no se hayan mostrado durante el entrenamiento. Sin suposiciones adicionales, este problema no puede resolverse, ya que situaciones no vistas podrían tener un valor de salida arbitrario. El tipo de suposiciones necesarias sobre la naturaleza de la función objetivo se engloban en la expresión sesgo inductivo . [ 1 ] [ 4 ]
Un ejemplo clásico de sesgo inductivo es la navaja de Occam , que presupone que la hipótesis consistente más simple sobre la función objetivo es, en realidad, la mejor. Aquí, consistente significa que la hipótesis del algoritmo de aprendizaje produce resultados correctos para todos los ejemplos que se le han proporcionado.
Los enfoques para una definición más formal del sesgo inductivo se basan en la lógica matemática . En este caso, el sesgo inductivo es una fórmula lógica que, junto con los datos de entrenamiento, implica lógicamente la hipótesis generada por el sistema de aprendizaje. Sin embargo, este formalismo estricto falla en muchos casos prácticos en los que el sesgo inductivo solo puede describirse de forma aproximada (por ejemplo, en el caso de las redes neuronales artificiales ) o, directamente, no puede describirse.
Tipos
A continuación se presenta una lista de sesgos inductivos comunes en los algoritmos de aprendizaje automático.
- Máxima independencia condicional : si la hipótesis se puede formular en un marco bayesiano , intente maximizar la independencia condicional. Este es el sesgo utilizado en el clasificador Naive Bayes .
- Error mínimo de validación cruzada : al intentar elegir entre hipótesis, seleccione la que presente el menor error de validación cruzada. Si bien la validación cruzada puede parecer libre de sesgos, los teoremas de "no hay almuerzo gratis" demuestran que necesariamente está sesgada, por ejemplo, al suponer que no existe información codificada en el orden de los datos.
- Margen máximo : al trazar un límite entre dos clases, se intenta maximizar el ancho del límite. Este es el sesgo utilizado en las máquinas de vectores de soporte . Se asume que las clases distintas tienden a separarse mediante límites amplios.
- Longitud mínima de la descripción : al formular una hipótesis, intente minimizar la longitud de la descripción de la misma.
- Características mínimas : a menos que existan pruebas sólidas de que una característica es útil, debe eliminarse. Este es el supuesto en el que se basan los algoritmos de selección de características .
- Vecinos más cercanos : se asume que la mayoría de los casos en un vecindario pequeño en el espacio de características pertenecen a la misma clase. Dado un caso cuya clase se desconoce, se infiere que pertenece a la misma clase que la mayoría en su vecindario inmediato. Este es el sesgo utilizado en el algoritmo de k-vecinos más cercanos . La suposición es que los casos que están cerca entre sí tienden a pertenecer a la misma clase.
Cambio de sesgo
Aunque la mayoría de los algoritmos de aprendizaje tienen un sesgo estático, algunos algoritmos están diseñados para cambiar su sesgo a medida que adquieren más datos. [ 5 ] Esto no evita el sesgo, ya que el proceso de cambio de sesgo en sí mismo debe tener un sesgo.
Véase también
Referencias
- 1 2 Mitchell, TM (1980), La necesidad de sesgos en el aprendizaje de generalizaciones , CBM-TR 5-110, New Brunswick, Nueva Jersey, EE. UU.: Universidad de Rutgers, CiteSeerX 10.1.1.19.5466
- ↑ Goodman, Nelson (1955). «El nuevo enigma de la inducción». Hechos, ficción y predicciones . Harvard University Press. págs. 59-83 . ISBN 978-0-674-29071-6.
{{cite book}}: Incompatibilidad de ISBN/Fecha ( ayuda ) - ↑ Mitchell, Tom M (1980). "La necesidad de sesgos en el aprendizaje de generalizaciones" (PDF) . Informe técnico de la Universidad de Rutgers CBM-TR-117 : 184–191 .
- ↑ DesJardins, M.; Gordon, DF (1995), "Evaluación y selección de sesgos en el aprendizaje automático" , Machine Learning , 20 ( 1–2 ): 5–22 , doi : 10.1007/BF00993472
- ↑ Utgoff, PE (1984), Cambio de sesgo para el aprendizaje inductivo de conceptos , New Brunswick, Nueva Jersey, EE. UU.: Tesis doctoral, Departamento de Ciencias de la Computación, Universidad de Rutgers, ISBN 9780934613002
- Inclinación
- Aprendizaje automático