Hispanopedia Wiki
Articulo de referencia

Método de Newton truncado

El método de Newton truncado , originado en un artículo de Ron Dembo y Trond Steihaug, [ 1 ] también conocido como optimización sin hessiano , [ 2 ] es una familia de algoritmos...

Hispanopedia WikiContenido en espanolLectura gratuita

El método de Newton truncado , originado en un artículo de Ron Dembo y Trond Steihaug, [ 1 ] también conocido como optimización sin hessiano , [ 2 ] es una familia de algoritmos de optimización diseñados para optimizar funciones no lineales con un gran número de variables independientes . Un método de Newton truncado consiste en la aplicación repetida de un algoritmo de optimización iterativo para resolver aproximadamente las ecuaciones de Newton y determinar una actualización de los parámetros de la función. El solucionador interno está truncado , es decir, se ejecuta solo durante un número limitado de iteraciones. Por lo tanto, para que los métodos de Newton truncados funcionen, el solucionador interno debe producir una buena aproximación en un número finito de iteraciones; [ 3 ] el gradiente conjugado se ha sugerido y evaluado como un bucle interno candidato. [ 2 ] Otro requisito previo es un buen precondicionamiento para el algoritmo interno. [ 4 ]

Referencias

  1. ↑ Dembo, Ron S.; Steihaug, Trond (1983). "Algoritmos de Newton truncados para optimización sin restricciones a gran escala". Mathematical Programming . 26 (2). Springer: 190– 212. doi : 10.1007/BF02592055 . S2CID 40537623 . Los resultados de convergencia para este algoritmo se pueden encontrar en Dembo, Ron S.; Eisenstat, Stanley C.; Steihaug, Trond (1982). "Métodos inexactos de Newton". SIAM Journal on Numerical Analysis . 19 (2): 400– 408. Bibcode : 1982SJNA...19..400D . doi : 10.1137/0719025 . JSTOR 2156954 . .
  2. 1 2 Martens, James (2010). Aprendizaje profundo mediante optimización sin Hessiano (PDF) . Actas de la Conferencia Internacional sobre Aprendizaje Automático .
  3. ↑ Nash, Stephen G. (2000). "Una revisión de los métodos de Newton truncados" . Journal of Computational and Applied Mathematics . 124 ( 1–2 ): 45–59 . Bibcode : 2000JCoAM.124...45N . doi : 10.1016/S0377-0427(00)00426-X .
  4. ↑ Nash, Stephen G. (1985). "Preacondicionamiento de métodos de Newton truncados" (PDF) . SIAM J. Sci. Stat. Comput . 6 (3): 599– 616. doi : 10.1137/0906042 . Archivado del original (PDF) el 8 de agosto de 2017.

Lecturas adicionales

  • Grippo, L.; Lampariello, F.; Lucidi, S. (1989). "Un método de Newton truncado con búsqueda lineal no monótona para optimización sin restricciones". J. Optimization Theory and Applications . 60 (3): 401– 419. CiteSeerX 10.1.1.455.7495 . doi : 10.1007/BF00940345 . S2CID 18990650 .  
  • Nash, Stephen G.; Nocedal, Jorge (1991). "Un estudio numérico del método BFGS de memoria limitada y el método de Newton truncado para la optimización a gran escala". SIAM J. Optim . 1 (3): 358– 372. CiteSeerX 10.1.1.474.3400 . doi : 10.1137/0801023 .