Modelo generativo basado en flujo

Considerar${\displaystyle z_{1}}$y${\displaystyle z_{0}}$. Tenga en cuenta que${\ Displaystyle z_ {0} = f_ {1} ^ {-1} (z_ {1})}$.

Mediante la fórmula de cambio de variable , la distribución de${\displaystyle z_{1}}$es:

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|}$

Dónde${\displaystyle \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}}$es el determinante de la matriz jacobiana de${\displaystyle f_{1}^{-1}}$.

Por el teorema de la función inversa :

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|}$

Por la identidad${\displaystyle \det(A^{-1})=\det(A)^{-1}}$(dónde${\displaystyle A}$es una matriz invertible ), tenemos:

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}}$

La verosimilitud logarítmica es, por lo tanto:

${\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|}$

En general, lo anterior se aplica a cualquier${\displaystyle z_{i}}$y${\displaystyle z_{i-1}}$. Desde${\displaystyle \log p_{i}(z_{i})}$es igual a${\displaystyle \log p_{i-1}(z_{i-1})}$Restando un término no recursivo, podemos inferir por inducción que:

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

El primer ejemplo. ^{[ 11 ]} Corregir alguna función de activación${\displaystyle h}$y dejar${\displaystyle \theta =(u,w,b)}$con las dimensiones apropiadas, entonces$${\displaystyle x=f_{\theta }(z)=z+uh(\langle w,z\rangle +b)}$$Lo contrario${\displaystyle f_{\theta }^{-1}}$En general, no tiene una solución analítica.

El jacobiano es${\displaystyle |\det(I+h'(\langle w,z\rangle +b)uw^{T})|=|1+h'(\langle w,z\rangle +b)\langle u,w\rangle |}$.

Para que sea invertible en todas partes, debe ser distinto de cero en todas partes. Por ejemplo,${\displaystyle h=\tanh }$y${\displaystyle \langle u,w\rangle >-1}$Satisface el requisito.

Dejar${\displaystyle x,z\in \mathbb {R} ^{2n}}$sean de dimensión par y divídalas por la mitad. ^{[ 6 ]} Entonces las funciones de flujo normalizadoras son$${\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}$$dónde${\displaystyle m_{\theta }}$es cualquier red neuronal con pesos${\displaystyle \theta }$.

${\displaystyle f_{\theta }^{-1}}$es solo${\displaystyle z_{1}=x_{1},z_{2}=x_{2}-m_{\theta }(x_{1})}$y el jacobiano es simplemente 1, es decir, el flujo conserva el volumen.

Cuando${\displaystyle n=1}$, esto se ve como un corte curvo a lo largo de la${\displaystyle x_{2}}$dirección.

El modelo Real Non-Volume Preserving generaliza el modelo NICE mediante: ^{[ 7 ]}$${\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\e^{s_{\theta }(z_{1})}\odot z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}$$

Su inversa es${\displaystyle z_{1}=x_{1},z_{2}=e^{-s_{\theta }(x_{1})}\odot (x_{2}-m_{\theta }(x_{1}))}$y su jacobiano es${\displaystyle \prod _{i=1}^{n}e^{s_{\theta }(z_{1,})}}$El modelo NICE se recupera estableciendo${\displaystyle s_{\theta }=0}$Dado que el mapa NVP real conserva la primera y la segunda mitad del vector${\displaystyle x}$Por separado, normalmente se requiere agregar una permutación${\displaystyle (x_{1},x_{2})\mapsto (x_{2},x_{1})}$después de cada capa de NVP real.

En el modelo de flujo generativo, ^{[ 8 ]} cada capa tiene 3 partes:

• transformación afín por canal$${\displaystyle y_{cij}=s_{c}(x_{cij}+b_{c})}$$con jacobino${\displaystyle \prod _{c}s_{c}^{HW}}$.
• convolución 1x1 invertible$${\displaystyle z_{cij}=\sum _{c'}K_{cc'}y_{cij}}$$con jacobino${\displaystyle \det(K)^{HW}}$. Aquí${\displaystyle K}$es cualquier matriz invertible.
• NVP real, con jacobiano como se describe en NVP real.

La idea de utilizar la convolución invertible de 1x1 es permutar todas las capas en general, en lugar de simplemente permutar la primera y la segunda mitad, como en Real NVP.

Un modelo autorregresivo de una distribución en${\displaystyle \mathbb {R} ^{n}}$se define como el siguiente proceso estocástico : ^{[ 12 ]}

$${\displaystyle {\begin{aligned}x_{1}\sim &N(\mu _{1},\sigma _{1}^{2})\\x_{2}\sim &N(\mu _{2}(x_{1}),\sigma _{2}(x_{1})^{2})\\&\cdots \\x_{n}\sim &N(\mu _{n}(x_{1:n-1}),\sigma _{n}(x_{1:n-1})^{2})\\\end{aligned}}}$$dónde${\displaystyle \mu _{i}:\mathbb {R} ^{i-1}\to \mathbb {R} }$y${\displaystyle \sigma _{i}:\mathbb {R} ^{i-1}\to (0,\infty )}$son funciones fijas que definen el modelo autorregresivo.

Mediante el truco de reparametrización , el modelo autorregresivo se generaliza a un flujo normalizador:$${\displaystyle {\begin{aligned}x_{1}=&\mu _{1}+\sigma _{1}z_{1}\\x_{2}=&\mu _{2}(x_{1})+\sigma _{2}(x_{1})z_{2}\\&\cdots \\x_{n}=&\mu _{n}(x_{1:n-1})+\sigma _{n}(x_{1:n-1})z_{n}\\\end{aligned}}}$$El modelo autorregresivo se recupera estableciendo${\displaystyle z\sim N(0,I_{n})}$.

El mapeo hacia adelante es lento (porque es secuencial), pero el mapeo hacia atrás es rápido (porque es paralelo).

La matriz jacobiana es diagonal inferior, por lo que la matriz jacobiana es${\displaystyle \sigma _{1}\sigma _{2}(x_{1})\cdots \sigma _{n}(x_{1:n-1})}$.

Invirtiendo los dos mapas${\displaystyle f_{\theta }}$y${\displaystyle f_{\theta }^{-1}}$de MAF da como resultado Flujo Autorregresivo Inverso (IAF), que tiene mapeo hacia adelante rápido y mapeo hacia atrás lento. ^{[ 13 ]}

En lugar de construir el flujo mediante composición de funciones, otro enfoque consiste en formular el flujo como una dinámica de tiempo continuo. ^{[ 14 ] [ 15 ]} Sea${\displaystyle z_{0}}$sea ​​la variable latente con distribución${\displaystyle p(z_{0})}$. Asigne esta variable latente al espacio de datos con la siguiente función de flujo:

${\displaystyle x=F(z_{0})=z_{T}=z_{0}+\int _{0}^{T}f(z_{t},t)dt}$

dónde${\displaystyle f}$es una función arbitraria y puede modelarse, por ejemplo, con redes neuronales.

La función inversa es entonces naturalmente: ^{[ 14 ]}

${\displaystyle z_{0}=F^{-1}(x)=z_{T}+\int _{T}^{0}f(z_{t},t)dt=z_{T}-\int _{0}^{T}f(z_{t},t)dt}$

Y la verosimilitud logarítmica de${\displaystyle x}$se puede encontrar como: ^{[ 14 ]}

${\displaystyle \log(p(x))=\log(p(z_{0}))-\int _{0}^{T}{\text{Tr}}\left[{\frac {\partial f}{\partial z_{t}}}\right]dt}$

Dado que la traza depende únicamente de la diagonal del jacobiano${\displaystyle \partial _{z_{t}}f}$Esto permite un jacobiano de "forma libre". ^{[ 16 ]} Aquí, "forma libre" significa que no hay restricciones en la forma del jacobiano. Se contrasta con los modelos discretos anteriores de flujo normalizador, donde el jacobiano se diseña cuidadosamente para que sea solo diagonal superior o inferior, de modo que pueda evaluarse de manera eficiente.

La traza se puede estimar mediante el "truco de Hutchinson": ^{[ 17 ] [ 18 ]}

Dada cualquier matriz${\displaystyle W\in \mathbb {R} ^{n\times n}}$y cualquier aleatorio${\displaystyle u\in \mathbb {R} ^{n}}$con${\displaystyle E[uu^{T}]=I}$, tenemos${\displaystyle E[u^{T}Wu]=tr(W)}$(Demostración: expandir la expectativa directamente.)

Por lo general, el vector aleatorio se muestrea a partir de${\displaystyle N(0,I)}$(distribución normal) o${\displaystyle \{\pm n^{-1/2}\}^{n}}$( Distribución de Rademacher ).

Cuando${\displaystyle f}$Si se implementa como una red neuronal, se necesitarían métodos de EDO neuronales ^{[ 19 ] . De hecho, CNF se propuso por primera vez en el mismo artículo que propuso EDO neuronales.}

Hay dos deficiencias principales de la CNF: una es que un flujo continuo debe ser un homeomorfismo , por lo tanto, preservar la orientación y la isotopía ambiental (por ejemplo, es imposible voltear una mano izquierda a una derecha mediante la deformación continua del espacio, y es imposible dar la vuelta a una esfera o deshacer un nudo); y la otra es que el flujo aprendido${\displaystyle f}$podría comportarse mal, debido a la degeneración (es decir, hay un número infinito de posibles${\displaystyle f}$que todos resuelven el mismo problema).

Al agregar dimensiones adicionales, la CNF obtiene suficiente libertad para invertir la orientación e ir más allá de la isotopía ambiental (como cuando uno puede tomar un polígono de un escritorio y voltearlo en el espacio tridimensional, o desatar un nudo en el espacio tetradimensional), dando como resultado la "EDO neuronal aumentada". ^{[ 20 ]}

Cualquier homeomorfismo de${\displaystyle \mathbb {R} ^{n}}$puede aproximarse mediante una EDO neuronal que opera en${\displaystyle \mathbb {R} ^{2n+1}}$, demostrado mediante la combinación del teorema de incrustación de Whitney para variedades y el teorema de aproximación universal para redes neuronales. ^{[ 21 ]}

Para regularizar el flujo${\displaystyle f}$Se pueden imponer pérdidas de regularización. El artículo ^{[ 17 ]} propuso la siguiente pérdida de regularización basada en la teoría de transporte óptimo :$${\displaystyle \lambda _{K}\int _{0}^{T}\left\|f(z_{t},t)\right\|^{2}dt+\lambda _{J}\int _{0}^{T}\left\|\nabla _{z}f(z_{t},t)\right\|_{F}^{2}dt}$$dónde${\displaystyle \lambda _{K},\lambda _{J}>0}$son hiperparámetros. El primer término penaliza al modelo por oscilar el campo de flujo en el tiempo, y el segundo término lo penaliza por oscilar el campo de flujo en el espacio. Ambos términos, en conjunto, guían al modelo hacia un flujo suave (no irregular) en el espacio y el tiempo.

Para${\displaystyle m<n}$, dejar${\displaystyle {\mathcal {M}}\subset \mathbb {R} ^{n}}$frijol${\displaystyle m}$Variedad de -dimensiones con una incrustación suave e isométrica en${\displaystyle \mathbb {R} ^{n}}$. Dejar${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} ^{n}}$ser una transformación de flujo suave con rango restringido a${\displaystyle {\mathcal {M}}}$. Dejar${\displaystyle \mathbf {x} \in {\mathcal {M}}}$ser muestreado de una distribución con densidad${\displaystyle P_{X}}$. Dejar${\displaystyle \mathbf {y} =f(\mathbf {x} )}$, con la densidad resultante (de empuje hacia adelante)${\displaystyle P_{Y}}$. Dejar${\displaystyle U\subset {\mathcal {M}}}$sea ​​una pequeña región convexa que contiene${\displaystyle \mathbf {x} }$y dejar${\displaystyle V=f(U)}$sea ​​su imagen, que contiene${\displaystyle \mathbf {y} }$; entonces, por conservación de la masa de probabilidad:

${\displaystyle P_{X}(\mathbf {x} )\operatorname {volume} (U)\approx P_{Y}(\mathbf {y} )\operatorname {volume} (V)}$

donde el volumen (para regiones muy pequeñas) viene dado por la medida de Lebesgue en${\displaystyle m}$espacio tangente de -dimensiones . Al hacer que las regiones sean infinitesimalmente pequeñas, el factor que relaciona las dos densidades es la razón de volúmenes, que denominamos razón de volumen diferencial .

Para obtener fórmulas concretas para el volumen en el${\displaystyle m}$Variedad de dimensión , construimos${\displaystyle U}$mapeando un${\displaystyle m}$Rectángulo de -dimensiones en el espacio de coordenadas (local) a la variedad mediante una función de incrustación suave:${\displaystyle \mathbb {R} ^{m}\to \mathbb {R} ^{n}}$. A escala muy pequeña, la función de incrustación se vuelve esencialmente lineal de modo que${\displaystyle U}$es un paralelotopo (generalización multidimensional de un paralelogramo). De manera similar, la transformación de flujo,${\displaystyle f}$se vuelve lineal, de modo que la imagen,${\displaystyle V=f(U)}$También es un paralelotopo.${\displaystyle \mathbb {R} ^{m}}$, podemos representar un${\displaystyle m}$Paralelotopo -dimensional con un${\displaystyle m{\text{-by-}}m}$matriz cuyos vectores columna son un conjunto de aristas (que se encuentran en un vértice común) que abarcan el paralelotopo. El volumen viene dado por el valor absoluto del determinante de esta matriz. Si, de forma más general (como es el caso aquí), una${\displaystyle m}$El paralelotopo -dimensional está incrustado en${\displaystyle \mathbb {R} ^{n}}$, se puede representar con un (alto)${\displaystyle n{\text{-by-}}m}$matriz, por ejemplo${\displaystyle \mathbf {V} }$. Denotando el paralelepípedo como${\displaystyle /\mathbf {V} \!/}$Su volumen viene dado entonces por la raíz cuadrada del determinante de Gram :

${\displaystyle \operatorname {volume} /\mathbf {V} \!/={\sqrt {\left|\operatorname {det} (\mathbf {V} '\mathbf {V} )\right|}}}$

En las secciones siguientes, mostramos varias maneras de utilizar esta fórmula de volumen para derivar la relación de volumen diferencial.

Como primer ejemplo, desarrollamos expresiones para la relación de volumen diferencial de un flujo simplex,${\displaystyle \mathbf {q} =f(\mathbf {p} )}$, dónde${\displaystyle \mathbf {p} ,\mathbf {q} \in {\mathcal {M}}=\Delta ^{n-1}}$. Defina la función de incrustación :

${\displaystyle e:{\tilde {\mathbf {p} }}=(p_{1}\dots ,p_{n-1})\mapsto \mathbf {p} =(p_{1}\dots ,p_{n-1},1-\sum _{i=1}^{n-1}p_{i})}$

que mapea un lugar convenientemente elegido,${\displaystyle (n-1)}$representación -dimensional,${\displaystyle {\tilde {\mathbf {p} }}}$, al colector incrustado. El${\displaystyle n{\text{-by-}}(n-1)}$Jacobiano es ${\displaystyle \mathbf {E} ={\begin{bmatrix}\mathbf {I} _{n-1}\\-{\boldsymbol {1}}'\end{bmatrix}}}$. Para definir${\displaystyle U}$, el elemento de volumen diferencial en la entrada de transformación (${\displaystyle \mathbf {p} \in \Delta ^{n-1}}$), comenzamos con un rectángulo en${\displaystyle {\tilde {\mathbf {p} }}}$-espacio, que tiene longitudes de lado diferenciales (con signo),${\displaystyle dp_{1},\dots ,dp_{n-1}}$a partir de la cual formamos la matriz diagonal cuadrada${\displaystyle \mathbf {D} }$, cuyas columnas abarcan el rectángulo. A muy pequeña escala, obtenemos${\displaystyle U=e(\mathbf {D} )=/\mathbf {ED} \!/}$, con:

${\displaystyle \operatorname {volume} (U)={\sqrt {\left|\operatorname {det} (\mathbf {DE} '\mathbf {ED} )\right|}}={\sqrt {\left|\operatorname {det} (\mathbf {E} '\mathbf {E} )\right|}}\,\left|\operatorname {det} \mathbf {D} )\right|={\sqrt {n}}\prod _{i=1}^{n-1}\left|dp_{i}\right|}$

Para comprender la interpretación geométrica del factor${\displaystyle {\sqrt {n}}}$, vea el ejemplo del 1-símplex en el diagrama de la derecha.

El elemento de volumen diferencial en la salida de la transformación (${\displaystyle \mathbf {q} \in \Delta ^{n-1}}$), es el paralelotopo,${\displaystyle V=f(U)=/\mathbf {F_{p}ED} \!/}$, dónde${\displaystyle \mathbf {F_{p}} }$es el${\displaystyle n{\text{-by-}}n}$Jacobiano de${\displaystyle f}$en${\displaystyle \mathbf {p} =e({\tilde {\mathbf {p} }})}$Su volumen es:

${\displaystyle \operatorname {volume} (V)={\sqrt {\left|\operatorname {det} (\mathbf {DE} '\mathbf {F_{p}} '\mathbf {F_{p}ED} )\right|}}={\sqrt {\left|\operatorname {det} (\mathbf {E} '\mathbf {F_{p}} '\mathbf {F_{p}E} )\right|}}\,\left|\operatorname {det} \mathbf {D} )\right|}$

de modo que el factor${\displaystyle \left|\operatorname {det} \mathbf {D} )\right|}$se cancela en la relación de volumen, que ahora ya puede evaluarse numéricamente. Sin embargo, puede reescribirse en una forma a veces más conveniente introduciendo también la función de representación ,${\displaystyle r:\mathbf {p} \mapsto {\tilde {\mathbf {p} }}}$, que simplemente extrae el primero${\displaystyle (n-1)}$componentes. El jacobiano es${\displaystyle \mathbf {R} ={\begin{bmatrix}\mathbf {I} _{n}&{\boldsymbol {0}}\end{bmatrix}}}$. Obsérvese que, dado que${\displaystyle e\circ r\circ f=f}$La regla de la cadena para la composición de funciones da como resultado:${\displaystyle \mathbf {ERF_{p}} =\mathbf {F_{p}} }$Al sustituir esta expansión en el determinante de Gram anterior y luego refactorizarlo como un producto de determinantes de matrices cuadradas, podemos extraer el factor.${\displaystyle {\sqrt {\left|\operatorname {det} (\mathbf {E} '\mathbf {E} )\right|}}={\sqrt {n}}}$, que ahora también se cancela en la razón, que finalmente se simplifica al determinante del jacobiano de la transformación de flujo "sándwich",${\displaystyle r\circ f\circ e}$:

${\displaystyle R_{f}^{\Delta }(\mathbf {p} )={\frac {\operatorname {volume} (V)}{\operatorname {volume} (U)}}=\left|\operatorname {det} (\mathbf {RF_{p}E} )\right|}$

lo cual, si${\displaystyle \mathbf {p} \sim P_{\mathbf {P} }}$, puede utilizarse para derivar la densidad de empuje hacia adelante después de un cambio de variables,${\displaystyle \mathbf {q} =f(\mathbf {p} )}$:

${\displaystyle P_{\mathbf {Q} }(\mathbf {q} )={\frac {P_{\mathbf {P} }(\mathbf {p} )}{R_{f}^{\Delta }(\mathbf {p} )}}\,,\;{\text{where}}\;\;\mathbf {p} =f^{-1}(\mathbf {q} )}$

Esta fórmula es válida solo porque el simplex es plano y el jacobiano,${\displaystyle \mathbf {E} }$es constante. El caso más general para variedades curvas se analiza más adelante, después de presentar dos ejemplos concretos de transformadas de flujo simplex.

Consideremos un flujo,${\displaystyle \mathbf {y} =f(\mathbf {x} )}$en un colector curvo, por ejemplo${\displaystyle \mathbb {S} ^{n-1}}$que equipamos con la función de incrustación,${\displaystyle e}$que mapea un conjunto de${\displaystyle (n-1)}$coordenadas esféricas angulares a${\displaystyle \mathbb {S} ^{n-1}}$El jacobino de${\displaystyle e}$no es constante y tenemos que evaluarlo en ambas entradas (${\displaystyle \mathbf {E_{x}} }$) y salida (${\displaystyle \mathbf {E_{y}} }$). Lo mismo se aplica a${\displaystyle r}$, la función de representación que recupera coordenadas esféricas a partir de puntos en${\displaystyle \mathbb {S} ^{n-1}}$, para lo cual necesitamos el jacobiano en la salida (${\displaystyle \mathbf {R_{y}} }$). La relación de volumen diferencial ahora se generaliza a:

${\displaystyle R_{f}(\mathbf {x} )=\left|\operatorname {det} (\mathbf {R_{y}F_{x}E_{x}} )\right|\,{\frac {\sqrt {\left|\operatorname {det} (\mathbf {E} _{\mathbf {y} }'\mathbf {E_{y}} )\right|}}{\sqrt {\left|\operatorname {det} (\mathbf {E} _{\mathbf {x} }'\mathbf {E_{x}} )\right|}}}}$

Para obtener información geométrica, considere${\displaystyle \mathbf {S} ^{2}}$donde las coordenadas esféricas son la colatitud,${\displaystyle \theta \in [0,\pi ]}$y longitud,${\displaystyle \phi \in [0,2\pi )}$. En${\displaystyle \mathbf {x} =e(\theta ,\phi )}$, obtenemos${\displaystyle {\sqrt {\left|\operatorname {det} (\mathbf {E} _{\mathbf {x} }'\mathbf {E_{x}} )\right|}}=\sin \theta }$, que da el radio del círculo en esa latitud (compárese, por ejemplo, el círculo polar con el ecuador). El volumen diferencial (área de la superficie de la esfera) es:${\displaystyle \sin \theta \,d\theta \,d\phi }$.

La derivación anterior para${\displaystyle R_{f}}$es frágil en el sentido de que cuando se utilizan funciones fijas${\displaystyle e,r}$, puede haber lugares donde no estén bien definidos, por ejemplo en los polos de la 2-esfera donde la longitud es arbitraria. Este problema se elude (usando maquinaria estándar de variedades) generalizando a coordenadas locales (cartas), donde en las vecindades de${\displaystyle \mathbf {x} ,\mathbf {y} \in {\mathcal {M}}}$, mapeamos desde local${\displaystyle m}$coordenadas -dimensionales a${\displaystyle \mathbb {R} ^{n}}$y viceversa utilizando los pares de funciones correspondientes.${\displaystyle e_{\mathbf {x} },r_{\mathbf {x} }}$y${\displaystyle e_{\mathbf {y} },r_{\mathbf {y} }}$. Continuamos utilizando la misma notación para los jacobianos de estas funciones (${\displaystyle \mathbf {E_{x}} ,\mathbf {E_{y}} ,\mathbf {R_{y}} }$), de modo que la fórmula anterior para${\displaystyle R_{f}}$sigue siendo válido.

Sin embargo, podemos elegir nuestro sistema de coordenadas local de una manera que simplifique la expresión para${\displaystyle R_{f}}$y de hecho también su implementación práctica. ^{[ 22 ]} Dejemos${\displaystyle \pi$ :{\mathcal {P}}\to \mathbb {R} ^{n}} sea una proyección idempotente suave (${\displaystyle \pi \circ \pi =\pi }$) del conjunto proyectable ,${\displaystyle {\mathcal {P}}\subseteq \mathbb {R} ^{n}}$, sobre la variedad incrustada. Por ejemplo:

• El ortante positivo de${\displaystyle \mathbb {R} ^{n}}$se proyecta sobre el simplex como:${\displaystyle \pi (\mathbf {z} )={\bigl (}\sum _{i=1}^{n}z_{i}{\bigr )}^{-1}\mathbf {z} }$
• Vectores distintos de cero en${\displaystyle \mathbb {R} ^{n}}$se proyectan sobre la esfera unitaria como:${\displaystyle \pi (\mathbf {z} )={\bigl (}\sum _{i=1}^{n}z_{i}^{2}{\bigr )}^{-{\frac {1}{2}}}\mathbf {z} }$

Por cada${\displaystyle \mathbf {x} \in {\mathcal {M}}}$, requerimos de${\displaystyle \pi }$que su${\displaystyle n{\text{-by-}}n}$Jacobiano,${\displaystyle {\boldsymbol {\Pi _{x}}}}$tiene rango${\displaystyle m}$(la dimensión de la variedad), en cuyo caso${\displaystyle {\boldsymbol {\Pi _{x}}}}$es una proyección lineal idempotente sobre el espacio tangente local ( ortogonal para la esfera unitaria:${\displaystyle \mathbf {I} _{n}-\mathbf {xx} '}$; oblicuo para el simplex:${\displaystyle \mathbf {I} _{n}-{\boldsymbol {x1}}'}$). Las columnas de${\displaystyle {\boldsymbol {\Pi _{x}}}}$abarcar el${\displaystyle m}$espacio tangente de -dimensiones en${\displaystyle \mathbf {x} }$. Usamos la notación,${\displaystyle \mathbf {T_{x}} }$para cualquier${\displaystyle n{\text{-by-}}m}$matriz con columnas ortonormales (${\displaystyle \mathbf {T} _{\mathbf {x} }'\mathbf {T_{x}} =\mathbf {I} _{m}}$) que abarcan el espacio tangente local. Tenga en cuenta también:${\displaystyle {\boldsymbol {\Pi _{x}}}\mathbf {T_{x}} =\mathbf {T_{x}} }$Ahora podemos elegir nuestra función de incrustación de coordenadas locales,${\displaystyle e_{\mathbf {x} }:\mathbb {R} ^{m}\to \mathbb {R} ^{n}}$:

${\displaystyle e_{\mathbf {x} }({\tilde {x}})=\pi (\mathbf {x} +\mathbf {T_{x}{\tilde {x}}} )\,,{\text{with Jacobian:}}\,\mathbf {E_{x}} =\mathbf {T_{x}} \,{\text{at}}\,{\tilde {\mathbf {x} }}=\mathbf {0} .}$

Dado que el jacobiano es inyectivo (rango completo:${\displaystyle m}$), una inversa izquierda local (no necesariamente única) , por ejemplo${\displaystyle r_{\mathbf {x} }^{*}}$con jacobino${\displaystyle \mathbf {R} _{\mathbf {x} }^{*}}$, existe tal que${\displaystyle r_{\mathbf {x} }^{*}(e_{\mathbf {x} }({\tilde {x}}))={\tilde {x}}}$y${\displaystyle \mathbf {R} _{\mathbf {x} }^{*}\mathbf {T_{x}} =\mathbf {I} _{m}}$En la práctica, no necesitamos la función inversa izquierda en sí, pero sí necesitamos su jacobiano, para el cual la ecuación anterior no proporciona una solución única. Sin embargo, podemos imponer una solución única para el jacobiano eligiendo la inversa izquierda como:${\displaystyle r_{\mathbf {x} }:\mathbb {R} ^{n}\to \mathbb {R} ^{m}}$:

${\displaystyle r_{\mathbf {x} }(\mathbf {z} )=r_{\mathbf {x} }^{*}(\pi (\mathbf {z} ))\,,{\text{with Jacobian:}}\,\mathbf {R_{x}} =\mathbf {T} _{\mathbf {x} }'}$

Ahora por fin podemos conectar${\displaystyle \mathbf {E_{x}} =\mathbf {T_{x}} }$y${\displaystyle \mathbf {R_{y}} =\mathbf {T} _{\mathbf {y} }'}$en nuestra expresión anterior para${\displaystyle R_{f}}$, la razón de volumen diferencial , que debido a los jacobianos ortonormales, se simplifica a: ^{[ 28 ]}

${\displaystyle R_{f}(\mathbf {x} )=\left|\operatorname {det} (\mathbf {T_{y}} '\mathbf {F_{x}T_{x}} )\right|}$

En la literatura sobre aprendizaje automático, se pueden encontrar diversos flujos esféricos complejos formados por arquitecturas de redes neuronales profundas. ^{[ 22 ]} En contraste, esta sección recopila de la literatura estadística los detalles de tres transformaciones de flujo esférico muy simples, con expresiones simples de forma cerrada para inversas y razones de volumen diferenciales. Estos flujos se pueden usar individualmente o encadenados para generalizar distribuciones en la esfera unitaria,${\displaystyle \mathbb {S} ^{n-1}}$Los tres flujos son composiciones de una transformación afín invertible en${\displaystyle \mathbb {R} ^{n}}$, seguido de una proyección radial de vuelta sobre la esfera. Los tipos que consideramos para la transformación afín son: traslación pura, lineal pura y afín general. Para que estos flujos sean totalmente funcionales para el aprendizaje, la inferencia y el muestreo, las tareas son:

• Para derivar la transformada inversa, con las restricciones adecuadas sobre los parámetros para garantizar la invertibilidad.
• Para derivar en forma cerrada simple la relación de volumen diferencial ,${\displaystyle R_{f}}$.

Una propiedad interesante de estos flujos esféricos simples es que no utilizan ninguna no linealidad aparte de la proyección radial. Incluso el más simple de ellos, el flujo de traslación normalizado, puede encadenarse para formar distribuciones sorprendentemente flexibles.