matriz hessiana

Si${\displaystyle f}$es un polinomio homogéneo en tres variables, la ecuación${\displaystyle f=0}$es la ecuación implícita de una curva proyectiva plana . Los puntos de inflexión de la curva son precisamente los puntos no singulares donde el determinante hessiano es cero. Según el teorema de Bézout , una curva plana cúbica tiene como máximo 9 puntos de inflexión, ya que el determinante hessiano es un polinomio de grado 3.

La matriz hessiana de una función convexa es semidefinida positiva . Refinar esta propiedad nos permite comprobar si existe un punto crítico.${\displaystyle x}$es un máximo local , un mínimo local o un punto de silla , como sigue (para todos los cuales también es necesario que el gradiente de la función sea igual a 0 en${\displaystyle x}$):

Si la matriz hessiana es definida positiva en${\displaystyle x,}$entonces${\displaystyle f}$alcanza un mínimo local aislado en${\displaystyle x.}$Si la matriz hessiana es definida negativa en${\displaystyle x,}$entonces${\displaystyle f}$alcanza un máximo local aislado en${\displaystyle x.}$Si la matriz hessiana tiene valores propios tanto positivos como negativos , entonces${\displaystyle x}$es un punto de silla para${\displaystyle f.}$De lo contrario, la prueba no es concluyente. Esto implica que en un mínimo local la matriz hessiana es semidefinida positiva, y en un máximo local la matriz hessiana es semidefinida negativa.

Para las matrices hessianas semidefinidas positivas y negativas, la prueba no es concluyente (un punto crítico donde la matriz hessiana es semidefinida pero no definida puede ser un extremo local o un punto de silla). Sin embargo, se puede decir más desde el punto de vista de la teoría de Morse .

La prueba de la segunda derivada para funciones de una y dos variables es más sencilla que el caso general. En una variable, el hessiano contiene exactamente una segunda derivada; si es positiva, entonces${\displaystyle x}$es un mínimo local, y si es negativo, entonces${\displaystyle x}$es un máximo local; si es cero, la prueba no es concluyente. En dos variables, se puede usar el determinante , ya que este es el producto de los autovalores. Si es positivo, ambos autovalores son positivos o ambos negativos. Si es negativo, los dos autovalores tienen signos diferentes. Si es cero, la prueba de la segunda derivada no es concluyente.

De forma equivalente, las condiciones de segundo orden que son suficientes para un mínimo o máximo local pueden expresarse en términos de la secuencia de menores principales (superior izquierda) (determinantes de submatrices) del hessiano; estas condiciones son un caso especial de las que se dan en la siguiente sección para hessianos con borde para optimización con restricciones , el caso en el que el número de restricciones es cero. Específicamente, la condición suficiente para un mínimo es que todos estos menores principales sean positivos, mientras que la condición suficiente para un máximo es que los menores alternen en signo, con el${\displaystyle 1\times 1}$menor siendo negativo.

Si el gradiente (el vector de las derivadas parciales) de una función${\displaystyle f}$es cero en algún momento${\displaystyle \mathbf {x} ,}$entonces${\displaystyle f}$tiene un punto crítico (o punto estacionario ) en${\displaystyle \mathbf {x} .}$El determinante del hessiano en${\displaystyle \mathbf {x} }$se denomina, en algunos contextos, discriminante . Si este determinante es cero, entonces${\displaystyle \mathbf {x} }$se denomina punto crítico degenerado de${\displaystyle f,}$o un punto crítico no Morse de${\displaystyle f.}$De lo contrario, no es degenerado y se denomina punto crítico de Morse.${\displaystyle f.}$

La matriz hessiana desempeña un papel importante en la teoría de Morse y la teoría de catástrofes , ya que su núcleo y sus valores propios permiten clasificar los puntos críticos. ^{[ 2 ] [ 3 ] [ 4 ]}

El determinante de la matriz hessiana, evaluado en un punto crítico de una función, es igual a la curvatura gaussiana de la función considerada como una variedad. Los autovalores de la matriz hessiana en ese punto son las curvaturas principales de la función, y los autovectores son las direcciones principales de curvatura. (Véase Curvatura gaussiana §  Relación con las curvaturas principales ).

Las matrices hessianas se utilizan en problemas de optimización a gran escala dentro de los métodos de tipo Newton porque son el coeficiente del término cuadrático de una expansión de Taylor local de una función. Es decir, $${\displaystyle y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )^{\mathsf {T}}\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathsf {T}}\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} }$$ dónde${\displaystyle \nabla f}$es el gradiente${\displaystyle \left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).}$Calcular y almacenar la matriz hessiana completa lleva${\displaystyle \Theta \left(n^{2}\right)}$memoria, lo cual es inviable para funciones de alta dimensión como las funciones de pérdida de redes neuronales , campos aleatorios condicionales y otros modelos estadísticos con gran cantidad de parámetros. Para tales situaciones, se han desarrollado algoritmos de Newton truncado y cuasi-Newton . Esta última familia de algoritmos utiliza aproximaciones al hessiano; uno de los algoritmos cuasi-Newton más populares es BFGS . ^{[ 5 ]}

Estas aproximaciones pueden aprovechar el hecho de que un algoritmo de optimización utiliza la matriz hessiana únicamente como un operador lineal.${\displaystyle \mathbf {H} (\mathbf {v} ),}$y procedamos observando primero que la matriz hessiana también aparece en la expansión local del gradiente: $${\displaystyle \nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})}$$

Alquiler${\displaystyle \Delta \mathbf {x} =r\mathbf {v} }$para algún escalar${\displaystyle r,}$esto da $${\displaystyle \mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),}$$ eso es, $${\displaystyle \mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)}$$ por lo que si el gradiente ya está calculado, el hessiano aproximado se puede calcular mediante un número lineal (en el tamaño del gradiente) de operaciones escalares. (Si bien es sencillo de programar, este esquema de aproximación no es numéricamente estable ya que${\displaystyle r}$debe hacerse pequeño para evitar errores debido a la${\displaystyle {\mathcal {O}}(r)}$término, pero al disminuirlo se pierde precisión en el primer término. ^{[ 6 ]} )

En particular, con respecto a las heurísticas de búsqueda aleatoria, la matriz de covarianza de la estrategia evolutiva se adapta a la inversa de la matriz hessiana, salvo un factor escalar y pequeñas fluctuaciones aleatorias. Este resultado se ha demostrado formalmente para una estrategia de un solo progenitor y un modelo estático, a medida que aumenta el tamaño de la población, basándose en la aproximación cuadrática. ^{[ 7 ]}

La matriz hessiana se utiliza comúnmente para expresar operadores de procesamiento de imágenes en el procesamiento de imágenes y la visión por computadora (véase el detector de manchas laplacianas (LoG), el detector de manchas determinantes de la matriz hessiana (DoH) y el espacio de escalas ). Puede utilizarse en el análisis de modos normales para calcular las diferentes frecuencias moleculares en la espectroscopia infrarroja . ^{[ 8 ]} También puede utilizarse en la sensibilidad local y el diagnóstico estadístico. ^{[ 9 ]}

Se utiliza un hessiano bordeado para la prueba de la segunda derivada en ciertos problemas de optimización con restricciones. Dada la función${\displaystyle f}$Considerado previamente, pero añadiendo una función de restricción.${\displaystyle g}$de tal manera que${\displaystyle g(\mathbf {x} )=c,}$La matriz hessiana con borde es la matriz hessiana de la función de Lagrange.${\displaystyle \Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]}$: ^{[ 10 ]}$${\displaystyle \mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}}$$

Si hay, por ejemplo,${\displaystyle m}$restricciones entonces el cero en la esquina superior izquierda es un${\displaystyle m\times m}$bloque de ceros, y hay${\displaystyle m}$filas de borde en la parte superior y${\displaystyle m}$columnas de borde a la izquierda.

Las reglas anteriores que establecen que los extremos se caracterizan (entre los puntos críticos con un hessiano no singular) por un hessiano definido positivo o definido negativo no pueden aplicarse aquí ya que un hessiano bordeado no puede ser ni definido negativo ni definido positivo, como${\displaystyle \mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0}$si${\displaystyle \mathbf {z} }$es cualquier vector cuya única entrada distinta de cero es su primera.

La prueba de la segunda derivada consiste aquí en restricciones de signo de los determinantes de un cierto conjunto de${\displaystyle n-m}$submatrices del hessiano bordeado. ^{[ 11 ]} Intuitivamente, la${\displaystyle m}$Las restricciones pueden considerarse como una reducción del problema a uno con${\displaystyle n-m}$variables libres. (Por ejemplo, la maximización de${\displaystyle f\left(x_{1},x_{2},x_{3}\right)}$sujeto a la restricción${\displaystyle x_{1}+x_{2}+x_{3}=1}$puede reducirse a la maximización de${\displaystyle f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)}$sin restricciones.)

Específicamente, se imponen condiciones de signo a la secuencia de menores principales principales (determinantes de submatrices alineadas superiormente a la izquierda) del hessiano bordeado, para el cual el primero${\displaystyle 2m}$Se descuidan los menores principales principales, siendo el menor más pequeño el primero truncado.${\displaystyle 2m+1}$filas y columnas, la siguiente consta de la primera truncada${\displaystyle 2m+2}$filas y columnas, y así sucesivamente, siendo la última la totalidad del hessiano bordeado; si${\displaystyle 2m+1}$es más grande que${\displaystyle n+m,}$entonces la menor principal principal más pequeña es la propia hessiana. ^{[ 12 ]} Hay, por lo tanto,${\displaystyle n-m}$menores a considerar, cada uno evaluado en el punto específico que se considera como un máximo o mínimo candidato . Una condición suficiente para un máximo local es que estos menores alternen en signo, siendo el más pequeño el que tenga el signo de${\displaystyle (-1)^{m+1}.}$ Una condición suficiente para un mínimo local es que todos estos menores tengan el signo de${\displaystyle (-1)^{m}.}$(En el caso no restringido de${\displaystyle m=0}$Estas condiciones coinciden con las condiciones para que la matriz hessiana sin bordes sea definida negativa o definida positiva, respectivamente.

Si${\displaystyle f}$es en cambio un campo vectorial${\displaystyle \mathbf {f}$ :\mathbb {R} ^{n}\to \mathbb {R} ^{m},} es decir, $${\displaystyle \mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),}$$ entonces la colección de segundas derivadas parciales no es una${\displaystyle n\times n}$matriz, sino más bien un tensor de tercer orden . Esto puede pensarse como una matriz de${\displaystyle m}$Matrices hessianas, una para cada componente de${\displaystyle \mathbf {f} }$: $${\displaystyle \mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).}$$ Este tensor degenera en la matriz hessiana usual cuando${\displaystyle m=1.}$

En el contexto de varias variables complejas , el hessiano puede generalizarse. Supongamos que${\displaystyle f\colon \mathbb {C} ^{n}\to \mathbb {C} ,}$y escribir${\displaystyle f\left(z_{1},\ldots ,z_{n}\right).}$ Identificación${\displaystyle {\mathbb {C} }^{n}}$con${\displaystyle {\mathbb {R} }^{2n}}$, el hessiano "real" normal es un${\displaystyle 2n\times 2n}$matriz. Dado que el objeto de estudio en varias variables complejas son funciones holomorfas , es decir, soluciones a las condiciones de Cauchy-Riemann n-dimensionales , solemos fijarnos en la parte del hessiano que contiene información invariante bajo cambios holomorfos de coordenadas. Esta "parte" es el llamado hessiano complejo, que es la matriz${\displaystyle \left({\frac {\partial ^{2}f}{\partial z_{j}\partial {\bar {z}}_{k}}}\right)_{j,k}.}$ Tenga en cuenta que si${\displaystyle f}$Si una función es holomorfa, su matriz hessiana compleja es idénticamente cero, por lo que la hessiana compleja se utiliza para estudiar funciones suaves pero no holomorfas; véase, por ejemplo, la pseudoconvexidad de Levi . Al tratar con funciones holomorfas, podríamos considerar la matriz hessiana.${\displaystyle \left({\frac {\partial ^{2}f}{\partial z_{j}\partial z_{k}}}\right)_{j,k}.}$

Dejar${\displaystyle (M,g)}$sea ​​una variedad riemanniana y${\displaystyle \nabla }$su conexión Levi-Civita . Dejemos${\displaystyle f:M\to \mathbb {R} }$Sea una función suave. Defina el tensor hessiano mediante $${\displaystyle \operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,}$$ donde esto aprovecha el hecho de que la primera derivada covariante de una función es igual a su diferencial ordinaria. Elección de coordenadas locales${\displaystyle \left\{x^{i}\right\}}$da una expresión local para el hessiano como $${\displaystyle \operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}}$$ dónde${\displaystyle \Gamma _{ij}^{k}}$son los símbolos de Christoffel de la conexión. Otras formas equivalentes para el hessiano se dan por $${\displaystyle \operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).}$$