La optimización convexa es un subcampo de la optimización matemática que estudia el problema de minimizar funciones convexas sobre conjuntos convexos (o, equivalentemente, maximizar funciones cóncavas sobre conjuntos convexos). Muchas clases de problemas de optimización convexa admiten algoritmos de tiempo polinomial, [ 1 ] mientras que la optimización matemática es, en general, NP-difícil . [ 2 ] [ 3 ] [ 4 ]
Definición
Forma abstracta
Un problema de optimización convexa se define por dos ingredientes: [ 5 ] [ 6 ]
- La función objetivo , que es una función convexa de valor real de n variables, ;
- El conjunto factible , que es un subconjunto convexo.
El objetivo del problema es encontrar algúnalcanzar
- .
En general, existen tres opciones con respecto a la existencia de una solución: [ 7 ] : cap. 4
- Si existe un punto x * de este tipo, se le denomina punto óptimo o solución ; el conjunto de todos los puntos óptimos se denomina conjunto óptimo ; y el problema se denomina resoluble .
- Sies ilimitado por debajo de, o no se alcanza el ínfimo, entonces se dice que el problema de optimización no está acotado .
- De lo contrario, siSi el conjunto es vacío, entonces se dice que el problema es infactible .
Formato estándar
Un problema de optimización convexa está en forma estándar si se escribe como
donde: [ 7 ] : cap. 4
- es el vector de variables de optimización;
- La función objetivoes una función convexa ;
- Las funciones de restricción de desigualdad,son funciones convexas;
- Las funciones de restricción de igualdad,son transformaciones afines , es decir, de la forma:, dóndees un vector yes un escalar.
El conjunto factibledel problema de optimización consta de todos los puntosque satisface las restricciones de desigualdad e igualdad. Este conjunto es convexo porquees convexo, los subconjuntos de funciones convexas son convexos, los conjuntos afines son convexos y la intersección de conjuntos convexos es convexa. [ 7 ] : cap. 2
Muchos problemas de optimización pueden formularse de forma equivalente en esta forma estándar. Por ejemplo, el problema de maximizar una función cóncava.puede reformularse de forma equivalente como el problema de minimizar la función convexaEl problema de maximizar una función cóncava sobre un conjunto convexo se denomina comúnmente problema de optimización convexa. [ 8 ]
Forma epigráfica (forma estándar con objetivo lineal)
En la forma estándar es posible asumir, sin pérdida de generalidad, que la función objetivo f es una función lineal . Esto se debe a que cualquier programa con un objetivo general puede transformarse en un programa con un objetivo lineal añadiendo una sola variable t y una sola restricción , como sigue: [ 9 ] : 1.4
Forma cónica
Todo programa convexo puede presentarse en forma cónica , lo que significa minimizar una función objetivo lineal sobre la intersección de un plano afín y un cono convexo: [ 9 ] : 5.1
donde K es un cono convexo cerrado y puntiagudo , L es un subespacio lineal de R n , y b es un vector en R n . Un programa lineal en forma estándar es el caso especial en el que K es el ortante no negativo de R n .
Eliminación de restricciones de igualdad lineal
Es posible convertir un programa convexo en forma estándar a un programa convexo sin restricciones de igualdad. [ 7 ] : 132 Denotemos las restricciones de igualdad h i ( x )=0 como Ax = b , donde A tiene n columnas. Si Ax = b es infactible, entonces, por supuesto, el problema original es infactible. De lo contrario, tiene alguna solución x 0 , y el conjunto de todas las soluciones se puede presentar como: Fz + x 0 , donde z está en R k , k = n -rank( A ), y F es una matriz n × k . Sustituyendo x = Fz + x 0 en el problema original se obtiene:
donde las variables son z . Nótese que hay rango( A ) menos variables. Esto significa que, en principio, se puede limitar la atención a problemas de optimización convexa sin restricciones de igualdad. Sin embargo, en la práctica, suele preferirse mantener las restricciones de igualdad, ya que pueden hacer que algunos algoritmos sean más eficientes y también facilitan la comprensión y el análisis del problema.
Casos especiales
Las siguientes clases de problemas son todos problemas de optimización convexa, o pueden reducirse a problemas de optimización convexa mediante transformaciones simples: [ 7 ] : cap. 4 [ 10 ]

- Los problemas de programación lineal son los programas convexos más simples. En la programación lineal, tanto la función objetivo como las funciones de restricción son lineales.
- La programación cuadrática es la siguiente más sencilla. En la programación cuadrática, todas las restricciones son lineales, pero la función objetivo puede ser una función cuadrática convexa.
- La programación de conos de segundo orden es más general.
- La programación semidefinida es más general.
- La optimización cónica es aún más general; véase la figura de la derecha.
Otros casos especiales incluyen:
- Mínimos cuadrados
- Minimización cuadrática con restricciones cuadráticas convexas
- Programación geométrica
- Maximización de la entropía con las restricciones adecuadas.
Propiedades
Las siguientes son propiedades útiles de los problemas de optimización convexa: [ 11 ] [ 7 ] : cap. 4
- Todo punto que sea un mínimo local es también un mínimo global ;
- El conjunto óptimo es convexo;
- Si la función objetivo es estrictamente convexa, entonces el problema tiene como máximo un punto óptimo.
Estos resultados son utilizados por la teoría de minimización convexa junto con nociones geométricas del análisis funcional (en espacios de Hilbert) como el teorema de proyección de Hilbert , el teorema del hiperplano separador y el lema de Farkas .
Algoritmos
Problemas sin restricciones y problemas con restricciones de igualdad
Los problemas convexos más fáciles de resolver son los problemas sin restricciones , o aquellos con solo restricciones de igualdad. Dado que las restricciones de igualdad son todas lineales, se pueden eliminar mediante álgebra lineal e integrar en la función objetivo, transformando así un problema con restricciones de igualdad en uno sin restricciones.
En la clase de problemas sin restricciones (o con restricciones de igualdad), los más simples son aquellos en los que la función objetivo es cuadrática . Para estos problemas, las condiciones de KKT (que son necesarias para la optimalidad) son todas lineales, por lo que pueden resolverse analíticamente. [ 7 ] : cap. 11
Para problemas sin restricciones (o con restricciones de igualdad) con una función objetivo convexa general que es dos veces diferenciable, se puede utilizar el método de Newton . Este método puede considerarse como la reducción de un problema convexo general sin restricciones a una secuencia de problemas cuadráticos. [ 7 ] : cap. 11 El método de Newton se puede combinar con la búsqueda lineal para un tamaño de paso adecuado, y se puede demostrar matemáticamente que converge rápidamente.
Otros algoritmos eficientes para la minimización sin restricciones son el descenso de gradiente (un caso especial del descenso más pronunciado ).
Problemas generales
Los problemas más complejos son aquellos con restricciones de desigualdad. Una forma común de resolverlos es reducirlos a problemas sin restricciones añadiendo una función barrera , que impone las restricciones de desigualdad, a la función objetivo. Estos métodos se denominan métodos de punto interior . [ 7 ] : cap. 11 Deben inicializarse encontrando un punto interior factible mediante los llamados métodos de fase I , que encuentran un punto factible o demuestran que no existe ninguno. Los métodos de fase I generalmente consisten en reducir la búsqueda en cuestión a un problema de optimización convexa más simple. [ 7 ] : cap. 11
Los problemas de optimización convexa también pueden resolverse mediante los siguientes métodos contemporáneos: [ 12 ]
- Métodos de agrupamiento (Wolfe, Lemaréchal, Kiwiel) y
- Métodos de proyección de subgradiente (Polyak),
- Métodos de punto interior , [ 1 ] que utilizan funciones de barrera autoconcordantes [ 13 ] y funciones de barrera autorregulares. [ 14 ]
- Métodos de planos de corte
- Método elipsoidal
- Método de subgradiente
- Subgradientes duales y el método de deriva más penalización
Los métodos de subgradiente se pueden implementar de forma sencilla y, por lo tanto, se utilizan ampliamente. [ 15 ] Los métodos de subgradiente dual son métodos de subgradiente aplicados a un problema dual . El método de deriva más penalización es similar al método de subgradiente dual, pero toma un promedio temporal de las variables primales.
multiplicadores de Lagrange
Consideremos un problema de minimización convexa dado en forma estándar por una función de coste.y restricciones de desigualdadpara. Entonces el dominioes:
La función lagrangiana para el problema es [ 16 ].
Para cada puntoenque minimizaencima, existen números realesdenominados multiplicadores de Lagrange , que satisfacen simultáneamente estas condiciones:
- minimizaen general
- con al menos uno
- (holgura complementaria).
Si existe un "punto estrictamente factible", es decir, un puntosatisfactorio
entonces la afirmación anterior puede reforzarse para exigir que.
Por el contrario, si algunosensatisface (1)–(3) para escalaresconentonceses seguro que minimizaráencima.
Software
Existe un amplio ecosistema de software para la optimización convexa. Este ecosistema se divide en dos categorías principales: por un lado, los solucionadores y, por otro, las herramientas de modelado (o interfaces ).
Los solucionadores implementan los algoritmos por sí mismos y suelen estar escritos en C. Requieren que los usuarios especifiquen los problemas de optimización en formatos muy específicos, que pueden no ser naturales desde una perspectiva de modelado. Las herramientas de modelado son programas independientes que permiten al usuario especificar una optimización con una sintaxis de alto nivel. Gestionan todas las transformaciones desde y hacia el modelo de alto nivel del usuario y el formato de entrada/salida del solucionador.
A continuación se presentan dos tablas. La primera muestra herramientas de modelado (como CVXPY y JuMP.jl) y la segunda, solucionadores (como SCS y MOSEK). Estas tablas no son exhaustivas.
Aplicaciones
La optimización convexa se puede utilizar para modelar problemas en una amplia gama de disciplinas, como sistemas de control automático , estimación y procesamiento de señales , comunicaciones y redes, diseño de circuitos electrónicos , [ 7 ] : 17 análisis y modelado de datos, finanzas , estadística ( diseño experimental óptimo ), [ 22 ] y optimización estructural , donde el concepto de aproximación ha demostrado ser eficiente. [ 7 ] [ 23 ] La optimización convexa se puede utilizar para modelar problemas en los siguientes campos:
- Optimización de cartera . [ 24 ]
- Análisis de riesgo en el peor de los casos. [ 24 ]
- Publicidad óptima. [ 24 ]
- Variaciones de la regresión estadística (incluidas la regularización y la regresión de cuantiles ). [ 24 ]
- Ajuste de modelos [ 24 ] (en particular, clasificación multiclase [ 25 ] ).
- Optimización de la generación de electricidad . [ 25 ]
- Optimización combinatoria . [ 25 ]
- Modelado no probabilístico de la incertidumbre . [ 26 ]
- Localización mediante señales inalámbricas [ 27 ]
Extensiones
Las extensiones de la optimización convexa incluyen la optimización de funciones biconvexas , pseudoconvexas y cuasiconvexas . Las extensiones de la teoría del análisis convexo y los métodos iterativos para la resolución aproximada de problemas de minimización no convexos se dan en el campo de la convexidad generalizada , también conocido como análisis convexo abstracto.
Véase también
Notas
- ^ Nesterov y Nemirovskii 1994
- ↑ Murty, Katta; Kabadi, Santosh (1987). "Algunos problemas NP-completos en programación cuadrática y no lineal". Mathematical Programming . 39 (2): 117– 129. Bibcode : 1987MatPr..39..117M . doi : 10.1007/BF02592948 . hdl : 2027.42/6740 . S2CID 30500771 .
- ↑ Sahni, S. "Problemas relacionados con la computación", en SIAM Journal on Computing, 3, 262--279, 1974.
- ↑ Pardalos, Panos M.; Vavasis, Stephen A. (1991). "La programación cuadrática con un valor propio negativo es NP-difícil" . Journal of Global Optimization . 1 : 15–22 . doi : 10.1007/BF00120662 .
- ^ Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1996). Algoritmos de análisis y minimización convexos: Fundamentos . Saltador. pag. 291.ISBN 9783540568506.
- ↑ Ben-Tal, Aharon; Nemirovskiĭ, Arkadiĭ Semenovich (2001). Lecciones sobre optimización convexa moderna: análisis, algoritmos y aplicaciones de ingeniería . pp. 335–336 . ISBN 9780898714913.
- 1 2 3 4 5 6 7 8 9 10 11 12 Boyd, Stephen; Vandenberghe, Lieven (2004). Optimización convexa (PDF) . Cambridge University Press . ISBN 978-0-521-83378-3Consultado el 12 de abril de 2021 .
- ↑ "Tipos de problemas de optimización - Optimización convexa" . 9 de enero de 2011.
- 1 2 Arkadi Nemirovsky (2004). Métodos de tiempo polinomial de punto interior en programación convexa .
- ↑ Agrawal, Akshay; Verschueren, Robin; Diamond, Steven; Boyd, Stephen (2018). "Un sistema de reescritura para problemas de optimización convexa" (PDF) . Control and Decision . 5 (1): 42– 60. arXiv : 1709.04494 . doi : 10.1080/23307706.2017.1397554 . S2CID 67856259 .
- ↑ Rockafellar, R. Tyrrell (1993). "Multiplicadores de Lagrange y optimalidad" (PDF) . SIAM Review . 35 (2): 183– 238. Bibcode : 1993SIAMR..35..183R . CiteSeerX 10.1.1.161.7209 . doi : 10.1137/1035044 .
- ↑ Para métodos de minimización convexa, véanse los volúmenes de Hiriart-Urruty y Lemaréchal (haz) y los libros de texto de Ruszczyński , Bertsekas y Boyd y Vandenberghe (punto interior).
- ↑ Nesterov, Yurii; Arkadii, Nemirovskii (1995). Algoritmos polinomiales de punto interior en programación convexa . Sociedad de Matemáticas Industriales y Aplicadas. ISBN 978-0898715156.
- ↑ Peng, Jiming; Roos, Cornelis; Terlaky, Tamás (2002). "Funciones autorregulares y nuevas direcciones de búsqueda para la optimización lineal y semidefinida". Mathematical Programming . 93 (1): 129– 171. doi : 10.1007/s101070200296 . ISSN 0025-5610 . S2CID 28882966 .
- ↑ "Optimización numérica" . Springer Series in Operations Research and Financial Engineering . 2006. doi : 10.1007/978-0-387-40065-5 . ISBN 978-0-387-30303-1.
- ↑ Beavis, Brian; Dobbs, Ian M. (1990). «Optimización estática» . Optimización y teoría de la estabilidad para el análisis económico . Nueva York: Cambridge University Press. pág. 40. ISBN 0-521-33605-8.
- 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Borchers, Brian. "Una visión general del software para la optimización convexa" (PDF) . Archivado del original (PDF) el 18 de septiembre de 2017. Recuperado el 12 de abril de 2021 .
- ↑ "Bienvenido a CVXPY 1.1 — Documentación de CVXPY 1.1.11" . www.cvxpy.org . Consultado el 12 de abril de 2021 .
- ↑ Udell, Madeleine; Mohan, Karanveer; Zeng, David; Hong, Jenny; Diamond, Steven; Boyd, Stephen (2014-10-17). "Optimización convexa en Julia". arXiv : 1410.4821 [ math.OC ].
- ↑ "Optimización Convexa Disciplinada - CVXR" . www.cvxgrp.org . Consultado el 17 de junio de 2021 .
- ↑ Lubin, Miles; Dowson, Oscar; Dias Garcia, Joaquim; Huchette, Joey; Legat, Benoît; Vielma, Juan Pablo (2023). "JuMP 1.0: Mejoras recientes en un lenguaje de modelado para la optimización matemática". Mathematical Programming Computation . 15 (3): 581– 589. arXiv : 2206.03866 . doi : 10.1007/s12532-023-00239-3 .
- ↑ Christensen/Klarbring, cap. 4.
- ↑ Schmit, LA; Fleury, C. 1980: Síntesis estructural mediante la combinación de conceptos de aproximación y métodos duales . J. Amer. Inst. Aeronaut. Astronaut 18, 1252-1260
- 1 2 3 4 5 Boyd, Stephen; Diamond, Stephen; Zhang, Junzi; Agrawal, Akshay. "Aplicaciones de optimización convexa" (PDF) . Archivado (PDF) del original el 1 de octubre de 2015. Recuperado el 12 de abril de 2021 .
- 1 2 3 Malick, Jérôme (28-09-2011). "Optimización convexa: aplicaciones, formulaciones, relajaciones" (PDF) . Archivado (PDF) del original el 12-04-2021 . Recuperado el 12 de abril de 2021 .
- ↑ Ben Haim Y. y Elishakoff I., Modelos convexos de incertidumbre en mecánica aplicada, Elsevier Science Publishers, Ámsterdam, 1990
- ↑ Ahmad Bazzi , Dirk TM Slock y Lisa Meilhac. «Estimación en línea del ángulo de llegada en presencia de acoplamiento mutuo». Taller de Procesamiento Estadístico de Señales (SSP) de la IEEE de 2016. IEEE, 2016.
Referencias
- Bertsekas, Dimitri P.; Nedic, Angelia; Ozdaglar, Asuman (2003). Análisis y optimización convexa . Belmont, MA.: Athena Scientific. ISBN 978-1-886529-45-8.
- Bertsekas, Dimitri P. (2009). Teoría de la optimización convexa . Belmont, MA: Athena Scientific. ISBN 978-1-886529-31-1.
- Bertsekas, Dimitri P. (2015). Algoritmos de optimización convexa . Belmont, MA: Athena Scientific. ISBN 978-1-886529-28-1.
- Borwein, Jonathan; Lewis, Adrian (2000). Análisis convexo y optimización no lineal: teoría y ejemplos, segunda edición (PDF) . Springer . Recuperado el 12 de abril de 2021 .
- Christensen, Peter W.; Anders Klarbring (2008). Introducción a la optimización estructural . Vol. 153. Springer Science & Business Media. ISBN 9781402086663.
- Hiriart-Urruty, Jean-Baptiste y Lemaréchal, Claude . (2004). Fundamentos del análisis convexo . Berlín: Springer.
- Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1993). Algoritmos de minimización y análisis convexo, Volumen I: Fundamentos . Grundlehren der Mathematischen Wissenschaften [Principios fundamentales de las ciencias matemáticas]. vol. 305. Berlín: Springer-Verlag. págs. xviii+417. ISBN 978-3-540-56850-6. MR 1261420 .
- Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1993). Algoritmos de minimización y análisis convexo, Volumen II: Teoría avanzada y métodos de paquetes . Grundlehren der Mathematischen Wissenschaften [Principios fundamentales de las ciencias matemáticas]. vol. 306. Berlín: Springer-Verlag. págs. xviii+346. ISBN 978-3-540-56852-0MR 1295240 .
- Kiwiel, Krzysztof C. (1985). Métodos de descenso para la optimización no diferenciable . Lecture Notes in Mathematics. Nueva York: Springer-Verlag. ISBN 978-3-540-15642-0.
- Lemaréchal, Claude (2001). "Relajación lagrangiana". En Michael Jünger y Denis Naddef (ed.). Optimización combinatoria computacional: artículos de la escuela de primavera celebrada en Schloß Dagstuhl, del 15 al 19 de mayo de 2000 . Apuntes de conferencias sobre informática. vol. 2241. Berlín: Springer-Verlag. págs. 112-156 . doi : 10.1007/3-540-45586-8_4 . ISBN 978-3-540-42877-0. MR 1900016 . S2CID 9048698 .
- Nesterov, Yurii; Nemirovskii, Arkadii (1994). Métodos polinomiales de puntos interiores en programación convexa . SIAM.
- Nesterov, Yurii. (2004). Lecciones introductorias sobre optimización convexa , Kluwer Academic Publishers
- Rockafellar, RT (1970). Análisis convexo . Princeton: Princeton University Press.
- Ruszczyński, Andrzej (2006). Optimización no lineal . Prensa de la Universidad de Princeton.
- Schmit, LA; Fleury, C. 1980: Síntesis estructural mediante la combinación de conceptos de aproximación y métodos duales . J. Amer. Inst. Aeronaut. Astronaut 18, 1252-1260
Enlaces externos
- EE364a: Optimización Convexa I y EE364b: Optimización Convexa II , páginas web de los cursos de Stanford
- 6.253: Análisis y optimización convexa , página principal de un curso de MIT OCW
- Brian Borchers, Una visión general del software para optimización convexa
- Libro de optimización convexa de Lieven Vandenberghe y Stephen P. Boyd
- Optimización convexa
- Análisis convexo
- Optimización matemática