Mínimos cuadrados ponderados iterativamente

IRLS puede utilizarse para la minimización de ℓ ₁ y la minimización suavizada de ℓ _p , p  <  1, en problemas de detección comprimida . Se ha demostrado que el algoritmo tiene una tasa de convergencia lineal para la norma ℓ ₁ y superlineal para ℓ _t con t  <  1, bajo la propiedad de isometría restringida , que generalmente es una condición suficiente para soluciones dispersas. ^{[ 2 ] [ 3 ]}

Para encontrar los parámetros β  =  ( β ₁ , …, β _k ) ^T que minimizan la norma L ^p para el problema de regresión lineal , $${\displaystyle {\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}\|_{p}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\sum _{i=1}^{n}\left|y_{i}-X_{i}{\boldsymbol {\beta }}\right|^{p},}$$ El algoritmo IRLS en el paso t  +  1 implica resolver el problema de mínimos cuadrados lineales ponderados ^{[ 4 ].}$${\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\sum _{i=1}^{n}w_{i}^{(t)}\left|y_{i}-X_{i}{\boldsymbol {\beta }}\right|^{2}=(X^{\rm {T}}W^{(t)}X)^{-1}X^{\rm {T}}W^{(t)}\mathbf {y} ,}$$ donde W ^{( t )} es la matriz diagonal de pesos, generalmente con todos los elementos establecidos inicialmente en $${\displaystyle w_{i}^{(0)}=1}$$ y actualizado después de cada iteración a $${\displaystyle w_{i}^{(t)}={\big |}y_{i}-X_{i}{\boldsymbol {\beta }}^{(t)}{\big |}^{p-2}.}$$

En el caso p  =  1, esto corresponde a la regresión de mínima desviación absoluta (en este caso, el problema se abordaría mejor mediante el uso de métodos de programación lineal , ^{[ 5 ]} por lo que el resultado sería exacto) y la fórmula es $${\displaystyle w_{i}^{(t)}={\frac {1}{{\big |}y_{i}-X_{i}{\boldsymbol {\beta }}^{(t)}{\big |}}}.}$$

Para evitar la división por cero, se debe realizar una regularización , por lo que en la práctica la fórmula es$${\displaystyle w_{i}^{(t)}={\frac {1}{\max \left\{\delta ,\left|y_{i}-X_{i}{\boldsymbol {\beta }}^{(t)}\right|\right\}}}.}$$ dónde${\displaystyle \delta }$es algún valor pequeño, como 0,0001. ^{[ 5 ]} Nótese el uso de${\displaystyle \delta }$en la función de ponderación es equivalente a la función de pérdida de Huber en la estimación robusta. ^{[ 6 ]}