Principio de separación en el control estocástico

El principio de separación es uno de los principios fundamentales de la teoría de control estocástico , que establece que los problemas de control óptimo y estimación de estado pueden desacoplarse bajo ciertas condiciones. En su formulación más básica, trata sobre un sistema estocástico lineal.

${\displaystyle {\begin{aligned}dx&=A(t)x(t)\,dt+B_{1}(t)u(t)\,dt+B_{2}(t)\,dw\\dy&=C(t)x(t)\,dt+D(t)\,dw\end{aligned}}}$

con un proceso estatal${\displaystyle x}$, un proceso de salida${\displaystyle y}$y un control${\displaystyle u}$, dónde${\displaystyle w}$es un proceso de Wiener con valores vectoriales ,${\displaystyle x(0)}$es un vector aleatorio gaussiano de media cero independiente de${\displaystyle w}$,${\displaystyle y(0)=0}$, y${\displaystyle A}$,${\displaystyle B_{1}}$,${\displaystyle B_{2}}$,${\displaystyle C}$,${\displaystyle D}$son funciones con valores matriciales que generalmente se consideran continuas de variación acotada . Además,${\displaystyle DD'}$es no singular en algún intervalo${\displaystyle [0,T]}$El problema consiste en diseñar una ley de retroalimentación de salida.${\displaystyle \pi$ :\,y\mapsto u} que mapea el proceso observado${\displaystyle y}$a la entrada de control${\displaystyle u}$de manera no anticipatoria para minimizar el efecto funcional.

${\displaystyle J(u)=\mathbb {E} \left\{\int _{0}^{T}x(t)'Q(t)x(t)\,dt+\int _{0}^{T}u(t)'R(t)u(t)\,dt+x(T)'Sx(T)\right\},}$

dónde${\displaystyle \mathbb {E} }$denota valor esperado , primo (${\displaystyle '}$) denota transpuesta . y${\displaystyle Q}$y${\displaystyle R}$son funciones matriciales continuas de variación acotada,${\displaystyle Q(t)}$es semidefinido positivo y${\displaystyle R(t)}$es positivo definido para todos${\displaystyle t}$. En condiciones adecuadas, que deben ser debidamente establecidas, la política óptima${\displaystyle \pi }$puede elegirse en el formulario

${\displaystyle u(t)=K(t){\hat {x}}(t),}$

dónde${\displaystyle {\hat {x}}(t)}$es la estimación lineal de mínimos cuadrados del vector de estado${\displaystyle x(t)}$obtenido del filtro de Kalman

${\displaystyle d{\hat {x}}=A(t){\hat {x}}(t)\,dt+B_{1}(t)u(t)\,dt+L(t)(dy-C(t){\hat {x}}(t)\,dt),\quad {\hat {x}}(0)=0,}$

dónde${\displaystyle K}$es la ganancia del regulador lineal-cuadrático óptimo obtenido al tomar${\displaystyle B_{2}=D=0}$y${\displaystyle x(0)}$determinista, y donde${\displaystyle L}$es la ganancia de Kalman . También hay una versión no gaussiana de este problema (que se discutirá más adelante) donde el proceso de Wiener ${\displaystyle w}$se reemplaza por una martingala de cuadrado integrable más general con posibles saltos. ^{[ 1 ]} En este caso, el filtro de Kalman debe reemplazarse por un filtro no lineal que proporcione una estimación de la media condicional (en sentido estricto).

${\displaystyle {\hat {x}}(t)=\operatorname {E} \{x(t)\mid {\cal {Y}}_{t}\},}$

dónde

${\displaystyle {\cal {Y}}_{t}:=\sigma \{y(\tau ),\tau \in [0,t]\},\quad 0\leq t\leq T,}$

es la filtración generada por el proceso de salida; es decir, la familia de campos sigma crecientes que representan los datos tal como se producen.

En la literatura inicial sobre el principio de separación era común permitir como controles admisibles${\displaystyle u}$todos los procesos que se adaptan a la filtración${\displaystyle \{{\cal {Y}}_{t},\,0\leq t\leq T\}}$Esto equivale a permitir que todas las funciones de Borel no anticipatorias actúen como leyes de retroalimentación, lo que plantea la cuestión de la existencia de una solución única para las ecuaciones del bucle de retroalimentación. Además, es necesario excluir la posibilidad de que un controlador no lineal extraiga más información de los datos que la que se puede obtener con una ley de control lineal. ^{[ 2 ]}

Los problemas de control lineal-cuadrático a menudo se resuelven mediante un argumento de completación de cuadrados. En nuestro contexto actual tenemos

${\displaystyle J(u)=\operatorname {E} \left\{\int _{0}^{T}(u-Kx)'R(u-Kx)\,dt\right\}+{\text{términos que no dependen de }}u,}$

en la que el primer término toma la forma ^{[ 3 ]}

${\displaystyle {\begin{aligned}\operatorname {E} \left\{\int _{0}^{T}(u-Kx)'R(u-Kx)\,dt\right\}=\operatorname {E} \left\{\int _{0}^{T}[(u-K{\hat {x}})'R(u-K{\hat {x}})+\operatorname {tr} (K'RK\Sigma )]\,dt\right\},\end{aligned}}}$

dónde${\displaystyle \Sigma }$es la matriz de covarianza

${\displaystyle \Sigma (t):=\operatorname {E} \{[x(t)-{\hat {x}}(t)][x(t)-{\hat {x}}(t)]'\}.}$

El principio de separación se seguiría ahora inmediatamente si${\displaystyle {\begin{aligned}\Sigma \end{aligned}}}$eran independientes del grupo de control. Sin embargo, esto debe establecerse.

La ecuación de estado se puede integrar para tomar la forma

${\displaystyle x(t)=x_{0}(t)+\int _{0}^{t}\Phi (t,s)B_{1}(s)u(s)\,ds,}$

dónde${\displaystyle x_{0}}$es el proceso de estado obtenido al establecer${\displaystyle u=0}$y${\displaystyle \Phi }$es la función de matriz de transición. Por linealidad,${\displaystyle {\hat {x}}(t)=\operatorname {E} \{x(t)\mid {\cal {Y}}_{t}\}}$igual

${\displaystyle {\hat {x}}(t)={\hat {x}}_{0}(t)+\int _{0}^{t}\Phi (t,s)B_{1}(s)u(s)\,ds,}$

dónde${\displaystyle {\hat {x}}_{0}(t)=\operatorname {E} \{x_{0}(t)\mid {\cal {Y}}_{t}\}}$. Como consecuencia,

${\displaystyle \Sigma (t):=\mathbb {E} \{[x_{0}(t)-{\hat {x}}_{0}(t)][x_{0}(t)-{\hat {x}}_{0}(t)]'\},}$

pero necesitamos establecer que${\displaystyle {\begin{aligned}{\hat {x}}_{0}\end{aligned}}}$no depende del control. Este sería el caso si

${\displaystyle {\cal {Y}}_{t}={\cal {Y}}_{t}^{0}:=\sigma \{y_{0}(\tau ),\tau \in [0,t]\},\quad 0\leq t\leq T,}$

dónde${\displaystyle y_{0}}$es el proceso de salida obtenido al establecer${\displaystyle u=0}$Este tema fue tratado en detalle por Lindquist. ^{[ 2 ]} De hecho, dado que el proceso de control${\displaystyle u}$Si en general es una función no lineal de los datos y, por lo tanto, no gaussiana, entonces también lo es el proceso de salida.${\displaystyle y}$Para evitar estos problemas, se podría comenzar por desacoplar el bucle de retroalimentación y determinar un proceso de control óptimo dentro de la clase de procesos estocásticos.${\displaystyle u}$que se adaptan a la familia${\displaystyle \{{\cal {Y}}_{t}^{0}\}}$de campos sigma. Este problema, donde se optimiza sobre la clase de todos los procesos de control adaptados a una filtración fija, se denomina problema de lazo abierto estocástico (SOL) . ^{[ 2 ]} No es infrecuente en la literatura asumir desde el principio que el control está adaptado a${\displaystyle \{{\mathcal {Y}}_{t}^{0}\}}$; véase, por ejemplo, la Sección 2.3 en Bensoussan, ^{[ 4 ]} también van Handel ^{[ 5 ]} y Willems. ^{[ 6 ]}

En Lindquist 1973 ^{[ 2 ]} se propuso un procedimiento para incrustar la clase de controles admisibles en varias clases SOL de manera dependiente del problema, y ​​luego construir la ley de retroalimentación correspondiente. La clase más grande${\displaystyle \Pi }$de leyes de retroalimentación admisibles${\displaystyle \pi }$consta de las funciones no anticipatorias${\displaystyle u:=\pi (y)}$de tal manera que la ecuación de retroalimentación tenga una solución única y el proceso de control correspondiente.${\displaystyle u_{\pi }}$está adaptado a${\displaystyle \{{\mathcal {Y}}_{t}^{0}\}}$A continuación, presentamos algunos ejemplos de clases específicas de leyes de retroalimentación que pertenecen a esta clase general, así como otras estrategias existentes en la literatura para superar los problemas descritos anteriormente.

En este punto es conveniente considerar una clase más general de sistemas estocásticos lineales controlados que también abarque sistemas con retardos de tiempo, a saber:

${\displaystyle {\begin{aligned}z(t)&=z_{0}(t)+\int _{0}^{t}G(t,s)u(s)\,ds\\y(t)&=Hz(t)\end{aligned}}}$

con${\displaystyle {\begin{aligned}z_{0}\end{aligned}}}$un proceso vectorial estocástico que no depende del control. ^{[ 2 ]} El sistema estocástico estándar se obtiene entonces como un caso especial donde${\displaystyle z=[x',y']'}$,${\displaystyle z_{0}=[x_{0}',y_{0}']'}$y${\displaystyle H=[I,0]}$Utilizaremos la notación abreviada.

${\displaystyle z=z_{0}+g\pi Hz}$

para el sistema de retroalimentación, donde

${\displaystyle g\;:\;(t,u)\mapsto \int _{0}^{t}G(t,\tau )u(\tau )\,d\tau }$

es un operador de Volterra .

En esta formulación más general, el procedimiento de incrustación de Lindquist ^{[ 2 ]} define la clase.${\displaystyle \Pi }$de leyes de retroalimentación admisibles${\displaystyle \pi }$como la clase de funciones no anticipatorias${\displaystyle u:=\pi (y)}$de tal manera que la ecuación de retroalimentación${\displaystyle z=z_{0}+g\pi Hz}$tiene una solución única${\displaystyle z_{\pi }}$y${\displaystyle u=\pi (Hz_{\pi })}$está adaptado a${\displaystyle \{{\mathcal {Y}}_{t}^{0}\}}$.

En Georgiou y Lindquist ^{[ 1 ]} se propuso un nuevo marco para el principio de separación. Este enfoque considera los sistemas estocásticos como mapas bien definidos entre trayectorias de muestra, en lugar de entre procesos estocásticos, y permite extender el principio de separación a sistemas impulsados ​​por martingalas con posibles saltos. El enfoque se inspira en la ingeniería, donde los sistemas y los bucles de retroalimentación procesan señales, y no procesos estocásticos propiamente dichos ni transformaciones de medidas de probabilidad. Por lo tanto, el objetivo es crear una clase natural de leyes de control admisibles que tengan sentido desde el punto de vista de la ingeniería, incluyendo aquellas que son no lineales y discontinuas.

La ecuación de retroalimentación${\displaystyle z=z_{0}+g\pi Hz}$tiene una solución fuerte y única si existe una función no anticipativa${\displaystyle F}$de tal manera que${\displaystyle z=F(z_{0})}$satisface la ecuación con probabilidad uno y todas las demás soluciones coinciden con${\displaystyle z}$con probabilidad uno. Sin embargo, en el contexto de muestreo, se requiere más, a saber, que exista una solución única y que${\displaystyle z=z_{0}+g\pi Hz}$se aplica a todos${\displaystyle z_{0}}$No solo casi todos. El bucle de retroalimentación resultante está bien planteado de forma determinista en el sentido de que las ecuaciones de retroalimentación admiten una solución única que depende causalmente de la entrada para cada ruta de muestra de entrada.

En este contexto, una señal se define como una trayectoria de muestra de un proceso estocástico con posibles discontinuidades. Más precisamente, las señales pertenecerán al espacio de Skorohod.${\displaystyle D}$, es decir, el espacio de funciones que son continuas por la derecha y tienen un límite izquierdo en todos los puntos ( funciones càdlàg ). En particular, el espacio${\displaystyle C}$de funciones continuas es un subespacio propio de${\displaystyle D}$Por lo tanto, la respuesta de una operación no lineal típica que involucra umbralización y conmutación puede modelarse como una señal. Lo mismo ocurre con las trayectorias de muestra de los procesos de conteo y otras martingalas. Un sistema se define como un mapa no anticipatorio medible.${\displaystyle D\to D}$enviar rutas de muestra a rutas de muestra para que sus salidas en cualquier momento${\displaystyle t}$es una función medible de valores pasados ​​de la entrada y el tiempo. Por ejemplo, las ecuaciones diferenciales estocásticas con coeficientes de Lipschitz impulsadas por un proceso de Wiener inducen mapas entre espacios de trayectorias correspondientes, véase la página 127 en Rogers y Williams, ^{[ 16 ]} y las páginas 126-128 en Klebaner. ^{[ 17 ]} Además, bajo condiciones bastante generales (véase, por ejemplo, el Capítulo V en Protter ^{[ 18 ]} ), las ecuaciones diferenciales estocásticas impulsadas por martingalas con trayectorias de muestra en${\displaystyle D}$tienen soluciones fuertes que son semimartingalas.

Para la configuración de la hora${\displaystyle f(z):=g\pi Hz}$el sistema de retroalimentación${\displaystyle z=z_{0}+g\pi Hz}$se puede escribir${\displaystyle z=z_{0}+f(z)}$, dónde${\displaystyle z_{0}}$puede interpretarse como una entrada.

Definición. Un bucle de retroalimentación${\displaystyle z=z_{0}+f(z)}$Un problema está bien planteado de forma determinista si tiene una solución única.${\displaystyle z\in D}$para todas las entradas${\displaystyle z_{0}\in D}$y ${\displaystyle (1-f)^{-1}}$es un sistema.

Esto implica que los procesos${\displaystyle z}$y${\displaystyle z_{0}}$define filtraciones idénticas. ^{[ 1 ]} En consecuencia, el bucle no crea información nueva. Sin embargo, lo que necesitamos es que${\displaystyle {\cal {Y}}_{t}={\cal {Y}}_{t}^{0}}$para${\displaystyle 0\leq t\leq T}$Esto se garantiza mediante el siguiente lema (Lema 8 en Georgiou y Lindquist ^{[ 1 ]} ).

Lema clave. Si el bucle de retroalimentación${\displaystyle z=z_{0}+g\pi Hz}$está bien planteado de forma determinista,${\displaystyle g\pi }$es un sistema, y${\displaystyle H}$es un sistema lineal que tiene una inversa derecha${\displaystyle H^{-R}}$Eso también es un sistema, entonces${\displaystyle (1-Hg\pi )^{-1}}$ es un sistema y${\displaystyle {\cal {Y}}_{t}={\cal {Y}}_{t}^{0}}$para${\displaystyle 0\leq t\leq T}$.

La condición en${\displaystyle H}$en este lema se satisface claramente en el sistema estocástico lineal estándar, para el cual${\displaystyle H=[0,I]}$y por lo tanto${\displaystyle H^{-R}=H'}$Las condiciones restantes se recogen en la siguiente definición.

Definición. Una ley de retroalimentación${\displaystyle \pi }$está bien planteado deterministamente para el sistema.${\displaystyle z=z_{0}+g\pi Hz}$ si${\displaystyle g\pi }$es un sistema y el sistema de retroalimentación${\displaystyle z=z_{0}+g\pi Hz}$bien planteado deterministamente.

En la Observación 12 de Georgiou y Lindquist se dan ejemplos de sistemas simples que no están bien planteados determinísticamente. ^{[ 1 ]}

Al considerar únicamente leyes de retroalimentación que estén bien definidas de forma determinista, todas las leyes de control admisibles son físicamente realizables en el sentido de la ingeniería, ya que inducen una señal que viaja a través del bucle de retroalimentación. La demostración del siguiente teorema se puede encontrar en Georgiou y Lindquist 2013. ^{[ 1 ]}

Teorema de separación. Dado el sistema estocástico lineal

${\displaystyle {\begin{aligned}dx&=A(t)x(t)\,dt+B_{1}(t)u(t)\,dt+B_{2}(t)\,dw\\dy&=C(t)x(t)\,dt+D(t)\,dw\end{aligned}}}$

dónde${\displaystyle w}$es un proceso de Wiener con valores vectoriales,${\displaystyle x(0)}$es un vector aleatorio gaussiano de media cero independiente de${\displaystyle w}$Consideremos el problema de minimizar el funcional cuadrático J(u) sobre la clase de todas las leyes de retroalimentación determinísticamente bien planteadas.${\displaystyle \pi }$Entonces, la ley de control óptima única viene dada por${\displaystyle u(t)=K(t){\hat {x}}(t)}$ dónde${\displaystyle K}$se define como arriba y${\displaystyle {\hat {x}}}$viene dada por el filtro de Kalman. De forma más general, si${\displaystyle w}$es una martingala de cuadrado integrable y ${\displaystyle x(0)}$es un vector aleatorio arbitrario de media cero,${\displaystyle u(t)=K(t){\hat {x}}(t)}$, dónde${\displaystyle {\hat {x}}(t)=\operatorname {E} \{x(t)\mid {\cal {Y}}_{t}\}}$, es la ley de control óptima siempre que esté bien definida de forma determinista.

En el caso general no gaussiano, que puede implicar procesos de conteo, el filtro de Kalman debe ser reemplazado por un filtro no lineal.

El control estocástico para sistemas con retardo de tiempo fue estudiado por primera vez en Lindquist, ^{[ 19 ] [ 20 ] [ 8 ] [ 2 ]} y Brooks, ^{[ 21 ]} aunque Brooks se basa en la fuerte suposición de que la observación${\displaystyle y}$es funcionalmente independiente del control${\displaystyle u}$, evitando así la cuestión clave de la retroalimentación.

Consideremos el sistema diferencial con retardo ^{[ 8 ]}

${\displaystyle {\begin{aligned}dx&=\left(\int _{t-h}^{t}d_{s}\,A(t,s)x(s)\right)\,dt+B_{1}(t)u(t)\,dt+B_{2}(t)\,dw\\dy&=\left(\int _{t-h}^{t}d_{s}\,C(t,s)x(s)\right)\,dt+D(t)\,dw\end{aligned}}}$

dónde${\displaystyle w}$ahora es una martingala gaussiana (vectorial) (de cuadrado integrable), y donde${\displaystyle {\begin{aligned}A\end{aligned}}}$y${\displaystyle C}$son de variación limitada en el primer argumento y continuas a la derecha en el segundo,${\displaystyle x(t)=\xi (t)}$es determinista para${\displaystyle -h\leq t\leq 0}$, y${\displaystyle y(0)=0}$. Más precisamente,${\displaystyle A(t,s)=0}$para${\displaystyle s\geq t}$,${\displaystyle A(t,s)=A(t,t-h)}$para${\displaystyle t\leq t-h}$y la variación total de${\displaystyle s\mapsto A(t,s)}$está acotada por una función integrable en la variable${\displaystyle t}$y lo mismo se aplica a${\displaystyle C}$.

Queremos determinar una ley de control que minimice

${\displaystyle J(u)=\operatorname {E} \left(\int _{0}^{T}x(t)'Q(t)x(t)\,d\alpha (t)+\int _{0}^{T}u(t)'R(t)u(t)\,dt\right),}$

dónde${\displaystyle {\begin{aligned}d\alpha \end{aligned}}}$es una medida de Stieltjes positiva. El problema determinista correspondiente se obtiene al establecer${\displaystyle {\begin{aligned}w=0\end{aligned}}}$es dado por

${\displaystyle u(t)=\int _{t-h}^{t}d_{\tau }\,K(t,\tau )x(\tau ),}$

con ^{[ 8 ]}${\displaystyle {\begin{aligned}K\end{aligned}}}$.

El siguiente principio de separación para el sistema de retardo anterior se puede encontrar en Georgiou y Lindquist 2013 ^{[ 1 ]} y generaliza el resultado correspondiente en Lindquist 1973 ^{[ 8 ].}

Teorema. Existe una ley de retroalimentación única.${\displaystyle {\begin{aligned}\pi$ :\,y\mapsto u\end{aligned}}} en la clase de leyes de control determinísticamente bien planteadas que minimiza${\displaystyle {\begin{aligned}J(u)\end{aligned}}}$y es dado por

${\displaystyle u(t)=\int _{t-h}^{t}d_{s}\,K(t,s){\hat {x}}(s\mid t),}$

dónde${\displaystyle K}$es la ganancia de control determinista y${\displaystyle {\hat {x}}(s\mid t):=E\{x(s)\mid {\cal {Y}}_{t}\}}$viene dado por el filtro lineal (distribuido)

${\displaystyle {\begin{aligned}d{\hat {x}}(t\mid t)&=\int _{t-h}^{t}d_{s}\,A(t,s){\hat {x}}(s\mid t)\,dt+B_{1}u\,dt+X(t,t)\,dv\\d{\hat {x}}(t\mid t)&=\int _{t-h}^{t}d_{s}\,A(t,s){\hat {x}}(s\mid t)\,dt+B_{1}u\,dt+X(t,t)\,dv\end{aligned}}}$

dónde${\displaystyle v}$es el proceso de innovación

${\displaystyle dv=dy-\int _{t-h}^{t}d_{s}C(t,s){\hat {x}}(s\mid t)\,dt,\quad v(0)=0,}$

y la ganancia${\displaystyle x}$es como se define en la página 120 en Lindquist. ^{[ 8 ]}