Minimización del riesgo empírico

En la teoría del aprendizaje estadístico , el principio de minimización del riesgo empírico define una familia de algoritmos de aprendizaje basados ​​en la evaluación del rendimiento sobre un conjunto de datos conocido y fijo. La idea central se basa en la aplicación de la ley de los grandes números ; más concretamente, no podemos saber con exactitud cuán bien funcionará un algoritmo predictivo en la práctica (es decir, el "riesgo real") porque desconocemos la distribución real de los datos, pero podemos estimar y optimizar el rendimiento del algoritmo sobre un conjunto conocido de datos de entrenamiento. El rendimiento sobre este conjunto conocido de datos de entrenamiento se denomina "riesgo empírico".

La siguiente situación es un escenario general de muchos problemas de aprendizaje supervisado . Hay dos espacios de objetos.${\displaystyle X}$y${\displaystyle Y}$y nos gustaría aprender una función${\displaystyle \ h:X\to Y}$(a menudo llamada hipótesis ) que produce un objeto${\displaystyle y\in Y}$, dado${\displaystyle x\in X}$Para ello, existe un conjunto de entrenamiento de${\displaystyle n}$ejemplos${\displaystyle \ (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$dónde${\displaystyle x_{i}\in X}$es una entrada y${\displaystyle y_{i}\in Y}$es la respuesta correspondiente que se desea de${\displaystyle h(x_{i})}$.

Para decirlo de manera más formal, suponiendo que existe una distribución de probabilidad conjunta${\displaystyle P(x,y)}$encima${\displaystyle X}$y${\displaystyle Y}$y que el conjunto de entrenamiento consta de${\displaystyle n}$instancias${\displaystyle \ (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$extraído iid de${\displaystyle P(x,y)}$La suposición de una distribución de probabilidad conjunta permite modelar la incertidumbre en las predicciones (por ejemplo, debido al ruido en los datos) porque${\displaystyle y}$no es una función determinista de${\displaystyle x}$sino más bien una variable aleatoria con distribución condicional${\displaystyle P(y|x)}$por un fijo${\displaystyle x}$.

También se supone que existe una función de pérdida de valor real no negativo.${\displaystyle L({\sombrero {y}},y)}$que mide cuán diferente es la predicción${\displaystyle {\hat {y}}}$de una hipótesis es a partir del resultado verdadero${\displaystyle y}$Para tareas de clasificación, estas funciones de pérdida pueden ser reglas de puntuación . El riesgo asociado con la hipótesis${\displaystyle h(x)}$se define entonces como la esperanza de la función de pérdida:

${\displaystyle R(h)=\mathbf {E} [L(h(x),y)]=\int L(h(x),y)\,dP(x,y).}$

Una función de pérdida comúnmente utilizada en teoría es la función de pérdida 0-1 :${\displaystyle L({\hat {y}},y)={\begin{cases}1&{\mbox{ si }}\quad {\hat {y}}\neq y\\0&{\mbox{ si }}\quad {\hat {y}}=y\end{cases}}}$.

El objetivo final de un algoritmo de aprendizaje es encontrar una hipótesis.${\displaystyle h^{*}}$entre una clase fija de funciones${\displaystyle {\mathcal {H}}}$para el cual el riesgo${\displaystyle R(h)}$es mínimo:

${\displaystyle h^{*}={\underset {h\in {\mathcal {H}}}{\operatorname {arg\,min} }}\,{R(h)}.}$

Para problemas de clasificación, el clasificador bayesiano se define como el clasificador que minimiza el riesgo definido con la función de pérdida 0-1.

En general, el riesgo${\displaystyle R(h)}$no se puede calcular debido a la distribución${\displaystyle P(x,y)}$es desconocido para el algoritmo de aprendizaje. Sin embargo, dado un conjunto de datos de entrenamiento i.i.d. , podemos calcular una estimación , denominada riesgo empírico , calculando el promedio de la función de pérdida sobre el conjunto de entrenamiento; más formalmente, calculando la esperanza con respecto a la medida empírica :

${\displaystyle \!R_{\text{emp}}(h)={\frac {1}{n}}\sum _{i=1}^{n}L(h(x_{i}),y_{i}).}$

El principio de minimización del riesgo empírico ^{[ 1 ]} establece que el algoritmo de aprendizaje debe elegir una hipótesis.${\displaystyle {\hat {h}}}$lo que minimiza el riesgo empírico sobre la clase de hipótesis${\displaystyle {\mathcal {H}}}$:

${\displaystyle {\hat {h}}={\underset {h\in {\mathcal {H}}}{\operatorname {arg\,min} }}\,R_{\text{emp}}(h).}$

Por lo tanto, el algoritmo de aprendizaje definido por el principio de minimización del riesgo empírico consiste en resolver el problema de optimización mencionado anteriormente .

Las garantías para el rendimiento de la minimización del riesgo empírico dependen en gran medida de la clase de función seleccionada, así como de las suposiciones de distribución realizadas. ^{[ 2 ]} En general, los métodos libres de distribución son demasiado imprecisos y no conducen a límites prácticos. Sin embargo, siguen siendo útiles para derivar propiedades asintóticas de algoritmos de aprendizaje, como la consistencia . En particular, los límites libres de distribución para el rendimiento de la minimización del riesgo empírico, dada una clase de función fija, pueden derivarse utilizando límites para la complejidad VC de dicha clase de función.

Para simplificar, considerando el caso de tareas de clasificación binaria, es posible acotar la probabilidad del clasificador seleccionado,${\displaystyle \phi _{n}}$siendo mucho peor que el mejor clasificador posible${\displaystyle \phi ^{*}}$Considere el riesgo${\displaystyle L}$definido sobre la clase de hipótesis${\displaystyle {\mathcal {C}}}$con función de crecimiento${\displaystyle {\mathcal {S}}({\mathcal {C}},n)}$dado un conjunto de datos de tamaño${\displaystyle n}$. Luego, por cada${\displaystyle \epsilon >0}$: ^{[ 3 ]}

$${\displaystyle \mathbb {P} \left(L(\phi _{n})-L(\phi ^{*})>\epsilon \right)\leq {\mathcal {8}}S({\mathcal {C}},n)\exp\{-n\epsilon ^{2}/32\}}$$

Resultados similares se aplican a las tareas de regresión. ^{[ 2 ]} Estos resultados suelen basarse en leyes uniformes de grandes números , que controlan la desviación del riesgo empírico respecto del riesgo real, de forma uniforme en toda la clase de hipótesis. ^{[ 3 ]}

La minimización del riesgo empírico sesgado es una técnica de aprendizaje automático que modifica funciones de pérdida estándar, como el error cuadrático, mediante la introducción de un parámetro de sesgo. Este parámetro ajusta dinámicamente el peso de los puntos de datos durante el entrenamiento, lo que permite al algoritmo centrarse en regiones o características específicas de la distribución de datos. La minimización del riesgo empírico sesgado resulta especialmente útil en escenarios con datos desequilibrados o cuando es necesario enfatizar los errores en ciertas partes del espacio de predicción.

• Estimador M
• estimación de máxima verosimilitud

• Vapnik, V. (2000). La naturaleza de la teoría del aprendizaje estadístico . Ciencia de la información y estadística. Springer-Verlag . ISBN 978-0-387-98780-4.