Distribución de probabilidad de los puntos extremos de un proceso estocástico de Wiener

En la teoría matemática de la probabilidad, el proceso de Wiener , que recibe su nombre de Norbert Wiener , es un proceso estocástico utilizado para modelar diversos fenómenos, como el movimiento browniano y las fluctuaciones en los mercados financieros. Una fórmula para la distribución de probabilidad condicional del extremo del proceso de Wiener y un esbozo de su demostración aparecen en la obra de H. J. Kusher (apéndice 3, página 106), publicada en 1964. ^{[ 1 ]} Una demostración constructiva detallada aparece en la obra de Dario Ballabio en 1978. ^{[ 2 ]} Este resultado se desarrolló dentro de un proyecto de investigación sobre algoritmos de optimización bayesiana .

En algunos problemas de optimización global, la definición analítica de la función objetivo es desconocida y solo es posible obtener valores en puntos fijos. Existen funciones objetivo en las que el coste de una evaluación es muy elevado, por ejemplo, cuando la evaluación es el resultado de un experimento o una medición particularmente onerosa. En estos casos, la búsqueda del extremo global (máximo o mínimo) puede llevarse a cabo mediante una metodología denominada " optimización bayesiana ", que tiende a obtener a priori el mejor resultado posible con un número predeterminado de evaluaciones. En resumen, se supone que, fuera de los puntos en los que ya se ha evaluado, la función objetivo presenta un patrón que puede representarse mediante un proceso estocástico con características apropiadas. El proceso estocástico se toma como modelo de la función objetivo, asumiendo que la distribución de probabilidad de sus extremos proporciona la mejor indicación sobre los extremos de la función objetivo. En el caso más simple de la optimización unidimensional, dado que la función objetivo se ha evaluado en varios puntos, surge el problema de elegir en cuál de los intervalos así identificados es más apropiado invertir en una evaluación posterior. Si se elige un proceso estocástico de Wiener como modelo para la función objetivo, es posible calcular la distribución de probabilidad de los puntos extremos del modelo dentro de cada intervalo, condicionada por los valores conocidos en los límites del intervalo. La comparación de las distribuciones obtenidas proporciona un criterio para seleccionar el intervalo en el que debe iterarse el proceso. El valor de probabilidad de haber identificado el intervalo en el que cae el punto extremo global de la función objetivo puede utilizarse como criterio de parada. La optimización bayesiana no es un método eficiente para la búsqueda precisa de extremos locales, por lo que, una vez restringido el rango de búsqueda, según las características del problema, se puede utilizar un método de optimización local específico.

Dejar${\displaystyle X(t)}$sea ​​un proceso estocástico de Wiener en un intervalo${\displaystyle [a,b]}$con valor inicial${\displaystyle X(a)=X_{a}.}$

Por definición del proceso de Wiener , los incrementos tienen una distribución normal :

${\displaystyle {\text{for }}a\leq t_{1}<t_{2}\leq b,\qquad X(t_{2})-X(t_{1})\sim N(0,\sigma ^{2}(t_{2}-t_{1})).}$

Dejar

${\displaystyle F(z)=\Pr(\min _{a\leq t\leq b}X(t)\leq z\mid X(b)=X_{b})}$

sea ​​la función de distribución de probabilidad acumulada del valor mínimo de la${\displaystyle X(t)}$función en intervalo${\displaystyle [a,b]}$condicionado por el valor${\displaystyle X(b)=X_{b}.}$

Se demuestra que: ^{[ 1 ] [ 3 ] [ nota 1 ]}

${\displaystyle F(z)={\begin{cases}1&{\text{for }}z\geq \min\{X_{a},X_{b}\},\\\exp \left(-2{\dfrac {(z-X_{b})(z-X_{a})}{\sigma ^{2}(b-a)}}\right)&{\text{for }}z<\min(X_{a},X_{b}).\end{cases}}}$

Caso${\displaystyle z\geq \min(X_{a},X_{b})}$es una consecuencia inmediata de la definición mínima, en lo sucesivo siempre se asumirá${\displaystyle z<\min(X_{a},X_{b})}$y también caso excepcional${\displaystyle \min _{a\leq t\leq b}X(t)=\min(X_{a},X_{b})}$quedará excluido.

Supongamos que${\displaystyle X(t)}$definido en un número finito de puntos${\displaystyle t_{k}\in [a,b],\ \ 0\leq k\leq n,\ \ t_{0}=a}$.

Dejar ${\displaystyle T_{n}\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ \{t_{k},\ \ 0\leq k\leq n,\}}$variando el número entero${\displaystyle n}$ser una secuencia de conjuntos${\displaystyle \{T_{n}\}}$de tal manera que ${\displaystyle T_{n}\subset T_{n+1}}$y${\displaystyle \bigcup _{n=0}^{+\infty }T_{n}}$ser un conjunto denso en${\displaystyle [a,b]}$,

por lo tanto cada vecindario de cada punto en${\displaystyle [a,b]}$contiene un elemento de uno de los conjuntos${\displaystyle T_{n}}$.

Dejar${\displaystyle \Delta z}$sea ​​un número real positivo tal que${\displaystyle z+\Delta z<\min(X_{a},X_{b}).}$

Que el evento${\displaystyle E}$ser definido como:${\displaystyle E\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ (\min _{a\leq t\leq b}X(t)<z+\Delta z)}$${\displaystyle \Longleftrightarrow }$${\displaystyle (\exists \,t\in [a,b]:X(t)<z+\Delta z)}$.

Habiendo excluido el caso excepcional${\displaystyle \min _{a\leq t\leq b}X(t)=\min(X_{a},X_{b})}$, seguramente lo es${\displaystyle P(E)>0}$.

Dejar${\displaystyle E_{n},\ \ n=0,1,2,\ldots }$Los eventos se definen como:${\displaystyle E_{n}\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ (\exists \,t_{k}\in T_{n}:z<X(t_{k})<z+\Delta z)}$y dejar${\displaystyle \nu }$ser la primera k entre los${\displaystyle t_{k}\in T_{n}}$que definen${\displaystyle E_{n}}$.

Desde${\displaystyle T_{n}\subset T_{n+1}}$es evidente${\displaystyle E_{n}\subset E_{n+1}}$. Ahora se demostrará la ecuación (2.1) .

(2.1)${\displaystyle \ \ \ \ E=\bigcup _{n=0}^{+\infty }E_{n}}$

Por el${\displaystyle E_{n}}$definición de eventos,${\displaystyle \forall \,n\ \ E_{n}\Rightarrow E}$, por eso ${\displaystyle \bigcup _{n=0}^{+\infty }E_{n}\subset E}$Ahora se verificará la relación${\displaystyle E\subset \bigcup _{n=0}^{+\infty }E_{n}}$Por lo tanto , (2.1) quedará demostrado.

La definición de ${\displaystyle E}$, la continuidad de${\displaystyle X(t)}$y la hipótesis${\displaystyle z<X_{a}=X(a)}$implican, por el teorema del valor intermedio , ${\displaystyle (\exists \,{\bar {t}}\in [a,b]:z<X({\bar {t}})<z+\Delta z)}$.

Por la continuidad de${\displaystyle X(t)}$y la hipótesis de que ${\displaystyle \bigcup _{n=0}^{+\infty }T_{n}}$es denso en${\displaystyle [a,b]}$Se deduce que${\displaystyle \exists \,{\bar {n}}}$de tal manera que para${\displaystyle t_{\nu }\in T_{\bar {n}}}$debe ser${\displaystyle z<X(t_{\nu })<z+\Delta z}$,

por eso${\displaystyle E\subset E_{\bar {n}}\subset \bigcup _{n=0}^{+\infty }E_{n}}$lo cual implica (2.1) .

(2.2)${\displaystyle \ \ \ \ P(E)=\lim _{n\rightarrow +\infty }P(E_{n})}$

(2.2) se deduce de (2.1) , considerando que${\displaystyle E_{n}\Rightarrow E_{n+1}}$implica que la secuencia de probabilidades${\displaystyle P(E_{n})}$es monótona no decreciente y por lo tanto converge a su supremo . La definición de eventos${\displaystyle E_{n}}$implica${\displaystyle \forall n\ \ P(E_{n})>0\Rightarrow P(E_{n})=P(E_{\nu })}$y (2.2) implica${\displaystyle P(E)=P(E_{\nu })}$.

En lo que sigue siempre se asumirá${\displaystyle n\geq \nu }$, entonces${\displaystyle t_{\nu }}$está bien definido.

(2.3)${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)-X(t_{\nu })<-X_{b}+z)}$

De hecho, por definición de ${\displaystyle E_{n}}$es ${\displaystyle z<X(t_{\nu })}$, entonces${\displaystyle (X(b)\leqslant -X_{b}+2z)\Rightarrow (X(b)-X(t_{\nu })<-X_{b}+z)}$.

De manera similar, puesto que por definición de${\displaystyle E_{n}}$es${\displaystyle z<X(t_{\nu })}$, (2.4) es válido:

(2.4)${\displaystyle \ \ \ \ P(X(b)-X(t_{\nu })>X_{b}-z)\leqslant P(X(b)>X_{b})}$

(2.5)${\displaystyle \ \ \ \ P(X(b)-X(t_{\nu })<-X_{b}+z)=P(X(b)-X(t_{\nu })>X_{b}-z)}$

Lo anterior se explica por el hecho de que la variable aleatoria${\displaystyle (X(b)-X(t_{\nu }))\thicksim N(\varnothing$ ;\ \ \sigma ^{2}(b-t_{\nu }))} tiene una densidad de probabilidad simétrica en comparación con su media, que es cero.

Aplicando en secuencia las relaciones (2.3) , (2.5) y (2.4) obtenemos (2.6)  :

(2.6)${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)>X_{b})}$

Con el mismo procedimiento utilizado para obtener (2.3) , (2.4) y (2.5), aprovechando esta vez la relación${\displaystyle X(t_{\nu })<z+\Delta z}$obtenemos (2.7) :

(2.7)${\displaystyle \ \ \ \ P(X(b)>X_{b})\leqslant P(X(b)-X(t_{\nu })>X_{b}-z-\Delta z)\ \ }$${\displaystyle =\ \ P(X(b)-X(t_{\nu })<-X_{b}+z+\Delta z)\leqslant P(X(b)<-X_{b}+2z+2\Delta z)}$

Aplicando en secuencia (2.6) y ( 2.7) obtenemos:

(2.8)${\displaystyle P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)>X_{b})}$${\displaystyle \leqslant P(X(b)<-X_{b}+2z+2\Delta z)}$

De${\displaystyle X_{b}>z+\Delta z>z}$, considerando la continuidad de${\displaystyle X(t)}$y el teorema del valor intermedio obtenemos ${\displaystyle X(b)>X_{b}>z+\Delta z>z\Rightarrow E_{n}}$,

lo cual implica ${\displaystyle P(X(b)>X_{b})=P(E_{n},X(b)>X_{b})}$.

Sustituyendo lo anterior en (2.8) y pasando a los límites:${\displaystyle \lim _{n\rightarrow +\ \infty }\ \ E_{n}(\Delta z)\rightarrow E(\Delta z)}$y para ${\displaystyle \Delta z\rightarrow 0}$, evento${\displaystyle E(\Delta z)}$converge a${\displaystyle \min _{a\leq t\leq b}X(t)\leqslant z}$

(2.9)${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X(b)>X_{b})}$

${\displaystyle \forall \,dX_{b}>0}$, sustituyendo${\displaystyle (X_{b})}$con${\displaystyle (X_{b}-dX_{b})}$En (2.9) obtenemos la relación equivalente:

(2.10)${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z+dX_{b})=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X(b)>X_{b}-dX_{b})}$

Aplicación del teorema de Bayes al evento conjunto ${\displaystyle (\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

(2.11)${\displaystyle \ \ \ \ P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X_{b}-dX_{b}<X(b)\leqslant X_{b})}$${\displaystyle /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

Dejar: ${\displaystyle B\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X(b)>X_{b}\},\ C\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X_{b}-dX_{b}<X(b)\leq X_{b}\},\ D\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X(b)>X_{b}-dX_{b}\},\ A\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ \{\min _{a\leq t\leq b}X(t)\leqslant z\}}$De las definiciones anteriores se deduce:

${\displaystyle D=B\cup C\Rightarrow \ P(A,D)=P(A,B\cup C)=P(A,B)+P(A,C)\Rightarrow P(A,C)=P(A,D)-P(A,B)}$

(2.12)${\displaystyle \ \ \ \ P(A,C)=P(A,D)-P(A,B)}$

Sustituyendo (2.12) en (2.11) , obtenemos el equivalente:

(2.13)${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=(P(\min _{a\leqslant t\leqslant b}X(t)\leq z,\ \ X(b)>X_{b}-dX_{b})-P(\min _{a\leqslant t\leqslant b}X(t)\leq z,\ \ X(b)>X_{b}))\ \ /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

Sustituyendo (2.9) y (2.10) en (2.13):

(2.14)${\displaystyle \ \ \ \ P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=}$${\displaystyle (P(X(b)\leqslant -X_{b}+2z+dX_{b})-P(X(b)\leqslant -X_{b}+2z)}$${\displaystyle /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

Se puede observar que en el segundo miembro de (2.14) aparece la distribución de probabilidad de la variable aleatoria.${\displaystyle X(b)}$, normal con media${\displaystyle X_{a}}$e varianza${\displaystyle \sigma ^{2}(b-a)}$.

Las conclusiones${\displaystyle X_{b}}$y${\displaystyle -X_{b}+2z}$de la variable aleatoria${\displaystyle X(b)}$que coincidan respectivamente las densidades de probabilidad:

(2.15)${\displaystyle \ \ \ \ P(X_{b})\,dX_{b}={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$

(2.16)${\displaystyle \ \ \ \ P(-X_{b}+2z)\,dX_{b}={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$

Sustituyendo (2.15) y (2.16) en (2.14) y tomando el límite para ${\displaystyle dX_{b}\rightarrow 0}$La tesis queda demostrada:

${\displaystyle F(z)=P(\min _{a\leq t\leq b}X(t)\leq z\ \ |\ \ X(b)=X_{b})=}$

${\displaystyle ={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$${\displaystyle \ \ \diagup \ \ {\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}=}$

${\displaystyle =\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}-(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}=}$${\displaystyle \ \ \exp {\biggl (}-2\ \ {\frac {(z-X_{b})(z-X_{a})}{\sigma ^{2}(b-a)}}{\biggr )}}$

• Un modelo estocástico versátil de una función de forma desconocida y variable en el tiempo - Harold J Kushner - Journal of Mathematical Analysis and Applications Volumen 5, Número 1, agosto de 1962, Páginas 150-167.
• Aplicación de métodos bayesianos para la búsqueda de extremos - J. Mockus, J. Tiesis, A. Zilinskas - Congreso IFIP 1977, 8-12 de agosto, Toronto.

• variable aleatoria
• Probabilidad
• Evento (teoría de la probabilidad)
• Probabilidad condicional
• Probabilidad condicional regular
• Proceso estocástico
• Proceso de Wiener