Espacio Barron

En el enunciado del teorema, la capa intermedia es la capa oculta. El número${\displaystyle k}$es el número de neuronas en la capa oculta. Estas neuronas se denominan neuronas ocultas.

Dado un conjunto compacto${\displaystyle X\subset \mathbb {R} ^{n}}$, para aproximar una función continua genérica con una precisión de${\displaystyle \epsilon }$en la norma uniforme sobre${\displaystyle X}$,${\displaystyle O(\epsilon ^{-d})}$Se necesitan neuronas ocultas. Esta es una manifestación de la maldición de la dimensionalidad .

En un artículo de 1993, Barron demostró que una gran clase de funciones continuas son mucho más aproximables que una función continua genérica. Específicamente, demostró que existe un conjunto de funciones continuas tales que, dada cualquier medida de probabilidad de Borel${\displaystyle \mu }$, solo${\displaystyle O(\epsilon ^{-2})}$Se necesitan neuronas ocultas para aproximarse${\displaystyle f}$con una precisión de${\displaystyle \epsilon }$en el${\displaystyle L^{2}(\mu )}$norma. En este sentido, estas funciones son convenientes, ya que pueden aproximarse eficientemente mediante una red neuronal sin sufrir la maldición de la dimensionalidad. ^{[ 2 ] [ 3 ]}

Si${\displaystyle \sigma }$es la función ReLU , definida de la siguiente manera.

Para cualquier${\displaystyle p\in [1,\infty ]}$, definir la pérdida de regularización de la representación${\displaystyle \rho }$como$${\displaystyle \|\rho \|_{p}:=\mathbb {E} _{(a,b,c)\sim \rho }{\Big [}|c(\|a\|_{1}+|b|)|^{p}{\Big ]}^{1/p}}$$si${\displaystyle p\in [1,\infty )}$, y$${\displaystyle \|\rho \|_{p}:=\sup _{(a,b,c)\in \operatorname {supp} \rho }|c(\|a\|_{1}+|b|)|}$$si${\displaystyle p=\infty }$Esto se define por analogía con los espacios Lp y está motivado por el resultado anterior sobre el número de neuronas ocultas.

El caso especial de${\displaystyle p=1}$También se le llama norma de trayectoria , ya que se interpreta como el peso de la trayectoria.${\displaystyle c(\|a\|_{1}+|b|)}$, promediado en todas las rutas desde las entradas hasta la salida de la red neuronal.

La norma p -Barron de${\displaystyle f}$se define como$${\displaystyle \|f\|_{B_{p}}:=\inf _{\rho {\text{ represents }}f}\|\rho \|_{p}}$$El espacio p -Barron sobre${\displaystyle X\subset \mathbb {R} ^{n}}$es el conjunto de funciones continuas de tipo${\displaystyle X\to \mathbb {R} }$de norma p -Barron finita .

Se puede demostrar que si${\displaystyle \|f\|_{B_{p}}<\infty }$para algunos${\displaystyle p\in [1,\infty ]}$, entonces${\displaystyle \|f\|_{B_{p}}}$es lo mismo para todos${\displaystyle p\in [1,\infty ]}$. Por lo tanto, todos estos son iguales, y eliminamos la p y llamamos a todos${\displaystyle \|\cdot \|_{B_{p}}}$la misma norma de Barron y el espacio de ellas el espacio de Barron . Se escribe como${\displaystyle {\mathcal {B}}}$^{[ 1 ]}

El espacio de Barron es un espacio de Banach . ^{[ 3 ] : Teorema 2.3}

Si${\displaystyle \sigma }$Si no es la función ReLU, entonces defina la norma de Barron extendida p :$${\displaystyle \|\rho \|_{p}:=\mathbb {E} _{(a,b,c)\sim \rho }{\Big [}|c(\|a\|_{1}+|b|\color {red}{+1}\color {black})|^{p}{\Big ]}^{1/p}}$$$${\displaystyle \|f\|_{{\tilde {B}}_{p}}:=\inf _{\rho {\text{ represents }}f}\|\rho \|_{p}}$$De forma similar, definamos los espacios de Barron extendidos en p .

En general, no son iguales para diferentes valores de p .

Existe una generalización para redes neuronales multicapa con activaciones ReLU. ^{[ 4 ]}

Teorema. ^{[ 1 ] : Teorema 1} Dado${\displaystyle f\in {\mathcal {B}}}$, entonces para cualquier entero positivo${\displaystyle k}$, existe una red ReLU de dos capas con${\displaystyle M}$neuronas ocultas$${\displaystyle f_{M}(x)={\frac {1}{M}}\sum _{i=1}^{M}c_{i}\;\operatorname {ReLU} (a_{i}\cdot x+b_{i})}$$de tal manera que${\displaystyle \left\|f_{M}-f\right\|_{L^{2}(\Omega )}^{2}\leq {\frac {3\|f\|_{B}^{2}}{M}}}$, y${\displaystyle {\frac {1}{M}}\sum _{i=1}^{M}|c_{i}|(\|a_{i}\|_{1}+|b_{i}|)\leq 2\|f\|_{B}}$.

Teorema. ^{[ 1 ] : Teorema 2} (recíproco al teorema anterior) Para cualquier${\displaystyle f}$continuo en${\displaystyle X\subset \mathbb {R} ^{n}}$, si existe una secuencia de redes ReLU de dos capas${\displaystyle f_{M}}$con${\displaystyle M=1,2,\dots }$neuronas ocultas, convergiendo${\displaystyle f_{M}\to f}$punto por punto , y las normas de Barron de estos${\displaystyle f_{M}}$están uniformemente delimitados por un único${\displaystyle C}$:$${\displaystyle {\frac {1}{M}}\sum _{i=1}^{M}|c_{i}|(\|a_{i}\|_{1}+|b_{i}|)\leq C,\quad \forall M=1,2,3,\dots }$$entonces${\displaystyle f\in {\mathcal {B}}}$y${\displaystyle \|f\|_{B}\leq C}$.

Teorema. Para cualquier${\displaystyle f}$continuo en${\displaystyle X\subset \mathbb {R} ^{n}}$, definir$${\displaystyle \gamma (f):=\inf _{\hat {f}}\int _{\mathbb {R} ^{n}}\|\omega \|_{1}^{2}|{\hat {f}}(\omega )|d\omega }$$dónde${\displaystyle {\hat {f}}}$abarca transformaciones de Fourier de todas las posibles extensiones de${\displaystyle f}$a todos${\displaystyle \mathbb {R} ^{n}}$, entonces, si${\displaystyle \gamma (f)<\infty }$, entonces${\displaystyle f\in {\mathcal {B}}}$.

Además, tenemos el límite superior explícito: ^{[ 1 ] : Prop. 2}$${\displaystyle \|f\|_{\mathcal {B}}\leq 2\gamma (f)+2\|\nabla f(0)\|_{1}+2|f(0)|}$$

Dejar${\displaystyle S=\{z_{1},z_{2},\dots ,z_{m}\}\subseteq Z}$sea ​​una muestra de puntos y considere una clase de función${\displaystyle {\mathcal {F}}}$de funciones de valor real sobre${\displaystyle Z}$. Luego, la complejidad empírica de Rademacher de${\displaystyle {\mathcal {F}}}$dado${\displaystyle S}$se define como:

${\displaystyle \operatorname {Rad} _{S}({\mathcal {F}})={\frac {1}{m}}\mathbb {E} _{\sigma }\left[\sup _{f\in {\mathcal {F}}}\left|\sum _{i=1}^{m}\sigma _{i}f(z_{i})\right|\right]}$

Teorema. ^{[ 1 ] : Teorema 3} Para cualquier${\displaystyle C>0}$, dejar${\displaystyle {\mathcal {F}}_{C}:=\{f\in {\mathcal {B}}:\|f\|_{B}\leq C\}}$, entonces${\displaystyle \operatorname {Rad} _{S}({\mathcal {F}}_{C})\leq 2C{\sqrt {\frac {2\ln(2n)}{|S|}}}}$, mientras que a modo de recordatorio${\displaystyle n}$es el número de dimensiones del dominio de${\displaystyle f}$.

Este resultado demuestra que el espacio de funciones acotadas en la norma de Barron tiene una baja complejidad de Rademacher, lo que, según la teoría del aprendizaje estadístico, significa que son altamente aprendibles. Esto concuerda con el hecho de que se pueden aproximar fácilmente mediante una red con pocas neuronas ocultas.