El filtro de Kalman de conjunto ( EnKF ) es un filtro recursivo adecuado para problemas con un gran número de variables, como las discretizaciones de ecuaciones diferenciales parciales en modelos geofísicos. El EnKF se originó como una versión del filtro de Kalman para problemas de gran tamaño (básicamente, la matriz de covarianza se reemplaza por la covarianza de la muestra ) y ahora es un componente importante de asimilación de datos en la predicción de conjuntos . El EnKF está relacionado con el filtro de partículas (en este contexto, una partícula es lo mismo que un miembro del conjunto), pero el EnKF asume que todas las distribuciones de probabilidad involucradas son gaussianas ; cuando es aplicable, es mucho más eficiente que el filtro de partículas .
Introducción
El filtro de Kalman de conjunto (EnKF) es una implementación de Monte Carlo del problema de actualización bayesiana : dada una función de densidad de probabilidad (PDF) del estado del sistema modelado (la distribución a priori , a menudo llamada pronóstico en geociencias) y la verosimilitud de los datos, se utiliza el teorema de Bayes para obtener la PDF después de que se haya tenido en cuenta la verosimilitud de los datos (la distribución a posteriori , a menudo llamada análisis). Esto se denomina actualización bayesiana. La actualización bayesiana se combina con el avance del modelo en el tiempo, incorporando nuevos datos periódicamente. El filtro de Kalman original , introducido en 1960, [ 1 ] asume que todas las PDF son gaussianas (la suposición gaussiana) y proporciona fórmulas algebraicas para el cambio de la media y la matriz de covarianza mediante la actualización bayesiana, así como una fórmula para avanzar la media y la covarianza en el tiempo siempre que el sistema sea lineal. Sin embargo, mantener la matriz de covarianza no es factible computacionalmente para sistemas de alta dimensión. Por esta razón, se desarrollaron los EnKF. [ 2 ] [ 3 ] Los EnKF representan la distribución del estado del sistema utilizando una colección de vectores de estado, llamada conjunto , y reemplazan la matriz de covarianza por la covarianza de muestra calculada a partir del conjunto. El conjunto se opera como si fuera una muestra aleatoria , pero los miembros del conjunto no son realmente independientes , ya que todos comparten el EnKF. Una ventaja de los EnKF es que el avance de la PDF en el tiempo se logra simplemente avanzando cada miembro del conjunto. [ 4 ]
Derivación
filtro de Kalman
Dejardenotan elvector de estado de dimensión de un modelo, y supongamos que tiene una distribución de probabilidad gaussiana con mediay covarianza, es decir, su PDF es
Aquí y abajo,significa proporcional; una PDF siempre se escala de manera que su integral sobre todo el espacio sea uno., llamado prior , evolucionó con el tiempo al ejecutar el modelo y ahora debe actualizarse para tener en cuenta los nuevos datos. Es natural suponer que se conoce la distribución de errores de los datos; los datos deben venir con una estimación de error, de lo contrario no tienen sentido. Aquí, los datosSe supone que tiene una función de densidad de probabilidad gaussiana con covarianzay significa, dóndees la llamada matriz de observación . La matriz de covarianzadescribe la estimación del error de los datos; si los errores aleatorios en las entradas del vector de datosson independientes,es diagonal y sus entradas diagonales son los cuadrados de la desviación estándar ("tamaño del error") del error de las entradas correspondientes del vector de datos.. El valores cuál sería el valor de los datos para el estadoen ausencia de errores en los datos. Entonces la densidad de probabilidadde los datoscondicional del estado del sistema, llamado probabilidad de datos , es
La función de densidad de probabilidad del estado y la verosimilitud de los datos se combinan para obtener la nueva densidad de probabilidad del estado del sistema.condicionado al valor de los datos(la posterior ) por el teorema de Bayes ,
Los datosqueda fijo una vez recibido, por lo que denotamos el estado posterior poren lugar dey la PDF posterior por. Se puede demostrar mediante manipulaciones algebraicas [ 5 ] que la PDF posterior también es gaussiana,
con la media posteriory covarianzadadas por las fórmulas de actualización de Kalman
dónde
es la denominada matriz de ganancia de Kalman .
Filtro de Kalman de conjunto
El EnKF es una aproximación de Monte Carlo del filtro de Kalman, que evita la evolución de la matriz de covarianza de la función de densidad de probabilidad del vector de estado.En cambio, la PDF está representada por un conjunto
es unLa matriz cuyas columnas son los miembros del conjunto se denomina conjunto previo . Idealmente, los miembros del conjunto formarían una muestra de la distribución previa. Sin embargo, los miembros del conjunto no son independientes en general , excepto en el conjunto inicial, ya que cada paso del EnKF los vincula. Se consideran aproximadamente independientes, y todos los cálculos se realizan como si realmente lo fueran.
Replicar los datosen unmatriz
de modo que cada columnaconsta del vector de datosmás un vector aleatorio deldistribución normal dimensional. Si, además, las columnas deson una muestra de la distribución de probabilidad previa , luego las columnas de
formar una muestra de la distribución de probabilidad posterior . Para ver esto en el caso escalar con: Dejar, y Entonces
- .
La primera suma es la media posterior, y la segunda suma, en vista de la independencia, tiene una varianza.
- ,
que es la varianza posterior.
El EnKF ahora se obtiene simplemente reemplazando la covarianza del estado.en la matriz de ganancia de Kalmanpor la covarianza de la muestracalculada a partir de los miembros del conjunto (llamada covarianza del conjunto ), [ 6 ] es decir:
Implementación
Formulación básica
Aquí seguimos. [ 7 ] [ 8 ] Supongamos que la matriz de conjuntoy la matriz de datosson como se indicó anteriormente. La media del conjunto y la covarianza son
dónde
ydenota la matriz de todos los unos del tamaño indicado.
El conjunto posteriorentonces se da por
donde la matriz de datos perturbadaes como se indicó anteriormente.
Tenga en cuenta que desdees una matriz de covarianza, siempre es semidefinida positiva y usualmente definida positiva , por lo que la inversa anterior existe y la fórmula puede implementarse mediante la descomposición de Cholesky . [ 9 ] En, [ 7 ] [ 8 ]se reemplaza por la covarianza de la muestradóndey la inversa se reemplaza por una pseudoinversa , calculada utilizando la descomposición en valores singulares (SVD).
Dado que estas fórmulas son operaciones matriciales con operaciones de Nivel 3 dominantes , [ 10 ] son adecuadas para una implementación eficiente utilizando paquetes de software como LAPACK (en computadoras de memoria serial y compartida ) y ScaLAPACK (en computadoras de memoria distribuida ). [ 9 ] En lugar de calcular la inversa de una matriz y multiplicarla por ella, es mucho mejor (varias veces más barato y también más preciso) calcular la descomposición de Cholesky de la matriz y tratar la multiplicación por la inversa como la solución de un sistema lineal con muchos segundos miembros simultáneos. [ 10 ]
Implementación sin matriz de observación
Dado que hemos reemplazado la matriz de covarianza por la covarianza de conjunto, esto conduce a una fórmula más simple donde las observaciones de conjunto se utilizan directamente sin especificar explícitamente la matriz.. Más específicamente, defina una funciónde la forma
La funciónse denomina función de observación o, en el contexto de los problemas inversos , operador directo . El valor dees cuál sería el valor de los datos para el estadosuponiendo que la medición sea exacta. Entonces el conjunto posterior se puede reescribir como
dónde
y
con
En consecuencia, la actualización del conjunto se puede calcular evaluando la función de observación.en cada miembro del conjunto una vez y la matrizNo es necesario conocerlo explícitamente. Esta fórmula también es válida [ 9 ] para una función de observación.con un desplazamiento fijo, que tampoco necesita conocerse explícitamente. La fórmula anterior se ha utilizado comúnmente para una función de observación no lineal., como la posición de un vórtice de huracán . [ 11 ] En ese caso, la función de observación se aproxima esencialmente mediante una función lineal a partir de sus valores en los miembros del conjunto.
Implementación para una gran cantidad de puntos de datos
Para un gran númerode puntos de datos, la multiplicación porse convierte en un cuello de botella. La siguiente fórmula alternativa es ventajosa cuando el número de puntos de datoses grande (como cuando se asimilan datos en cuadrícula o de píxeles) y la matriz de covarianza de errores de los datoses diagonal (que es el caso cuando los errores de los datos no están correlacionados), o barato de descomponer (como en bandas debido a la distancia de covarianza limitada). Usando la fórmula de Sherman-Morrison-Woodbury [ 12 ]
con
da
lo cual requiere únicamente la solución de sistemas con la matriz(se supone que es barato) y de un sistema de tamañoconLados derechos. Véase [ 9 ] para el recuento de operaciones.
Ampliaciones adicionales
La versión EnKF descrita aquí implica la aleatorización de los datos. Para filtros sin aleatorización de datos, véase [ 13 ] [ 14 ] [ 15 ].
Dado que la covarianza del conjunto es deficiente en rango (hay muchas más variables de estado, típicamente millones, que miembros del conjunto, típicamente menos de cien), tiene términos grandes para pares de puntos que están espacialmente distantes. Dado que en realidad los valores de los campos físicos en ubicaciones distantes no están tan correlacionados , la matriz de covarianza se atenúa artificialmente en función de la distancia, lo que da lugar a algoritmos EnKF localizados . [ 16 ] [ 17 ] Estos métodos modifican la matriz de covarianza utilizada en los cálculos y, en consecuencia, el conjunto posterior ya no está hecho solo de combinaciones lineales del conjunto previo.
Para problemas no lineales, EnKF puede crear un conjunto posterior con estados no físicos. Esto se puede mitigar mediante la regularización , como la penalización de estados con grandes gradientes espaciales . [ 6 ]
Para problemas con características coherentes , como huracanes , tormentas eléctricas , líneas de fuego , líneas de turbonada y frentes de lluvia , es necesario ajustar el estado del modelo numérico deformando el estado en el espacio (su cuadrícula) y corrigiendo las amplitudes del estado de forma aditiva. En 2007, Ravela et al. introdujeron el modelo de ajuste conjunto de posición y amplitud utilizando conjuntos y derivaron sistemáticamente una aproximación secuencial que puede aplicarse tanto al EnKF como a otras formulaciones. [ 18 ] Su método no asume que las amplitudes y los errores de posición sean independientes o conjuntamente gaussianos, como hacen otros. El EnKF de morphing emplea estados intermedios, obtenidos mediante técnicas tomadas del registro y morphing de imágenes , en lugar de combinaciones lineales de estados. [ 19 ] [ 20 ]
Formalmente, los EnKF se basan en la suposición gaussiana. En la práctica, también pueden usarse para problemas no lineales, donde la suposición gaussiana puede no cumplirse. Los filtros relacionados que intentan relajar la suposición gaussiana en EnKF, conservando sus ventajas, incluyen filtros que ajustan la PDF del estado con múltiples núcleos gaussianos, [ 21 ] filtros que aproximan la PDF del estado mediante mezclas gaussianas , [ 22 ] una variante del filtro de partículas con cálculo de pesos de partículas mediante estimación de densidad , [ 20 ] y una variante del filtro de partículas con PDF de datos de cola gruesa para mitigar la degeneración del filtro de partículas . [ 23 ]
Véase también
Referencias
- ↑ Kalman, RE (1960). "Un nuevo enfoque para problemas de filtrado y predicción lineal". Journal of Basic Engineering . 82 (1): 35– 45. doi : 10.1115/1.3662552 . S2CID 1242324 .
- ↑ Evensen, G. (1994). "Asimilación de datos secuenciales con un modelo cuasi-geostrófico no lineal utilizando métodos de Monte Carlo para pronosticar estadísticas de error". Journal of Geophysical Research . 99 (C5): 143– 162. Bibcode : 1994JGR....9910143E . doi : 10.1029/94JC00572 . hdl : 1956/3035 .
- ↑ Houtekamer, P.; Mitchell, HL (1998). "Asimilación de datos mediante una técnica de filtro de Kalman de conjunto". Monthly Weather Review . 126 (3): 796– 811. Bibcode : 1998MWRv..126..796H . CiteSeerX 10.1.1.3.1706 . doi : 10.1175/1520-0493(1998)126 < 0796:DAUAEK > 2.0.CO ; 2 .
- ↑ Para una revisión del EnKF y técnicas de asimilación de datos relacionadas, véase Evensen, G. (2007). Data Assimilation : The Ensemble Kalman Filter . Berlín: Springer. ISBN 978-3-540-38300-0.
- ↑ Anderson, BDO; Moore, JB (1979). Optimal Filtering . Englewood Cliffs, NJ: Prentice-Hall. ISBN 978-0-13-638122-8.
- 1 2 Johns, CJ; Mandel, J. (2008). "Un filtro de Kalman de conjunto de dos etapas para la asimilación suave de datos". Environmental and Ecological Statistics . 15 (1): 101– 110. Bibcode : 2008EnvES..15..101J . CiteSeerX 10.1.1.67.4916 . doi : 10.1007/s10651-007-0033-0 . S2CID 14820232 .
- 1 2 hamburguesas, G.; van Leeuwen, PJ; Evensen, G. (1998). "Esquema de análisis en el filtro Ensemble Kalman". Revisión meteorológica mensual . 126 (6): 1719–1724 . Bibcode : 1998MWRv..126.1719B . CiteSeerX 10.1.1.41.5827 . doi : 10.1175/1520-0493(1998)126 < 1719:ASITEK > 2.0.CO ; 2 .
- 1 2 Evensen, G. (2003). "El filtro de Kalman de conjunto: formulación teórica e implementación práctica". Ocean Dynamics . 53 (4): 343– 367. Bibcode : 2003OcDyn..53..343E . CiteSeerX 10.1.1.5.6990 . doi : 10.1007/s10236-003-0036-9 . S2CID 129233333 .
- 1 2 3 4 Mandel, J. (junio de 2006). "Implementación eficiente del filtro de Kalman de conjunto" (PDF) . Informes del Centro de Matemáticas Computacionales . 231. Universidad de Colorado en Denver y Centro de Ciencias de la Salud.
- 1 2 Golub, GH ; Loan, CFV (1989). Cálculos matriciales (Segunda edición). Baltimore: Johns Hopkins Univ. Press. ISBN 978-0-8018-3772-2.
- ↑ Chen, Y.; Snyder, C. (2007). "Asimilación de la posición del vórtice con un filtro de Kalman de conjunto" . Monthly Weather Review . 135 (5): 1828– 1845. Bibcode : 2007MWRv..135.1828C . doi : 10.1175/MWR3351.1 .
- ↑ Hager, WW (1989). "Actualización de la inversa de una matriz". SIAM Review . 31 (2): 221– 239. doi : 10.1137/1031049 .
- ↑ Anderson, JL (2001). "Un filtro Kalman de ajuste de conjunto para la asimilación de datos". Monthly Weather Review . 129 (12): 2884– 2903. Bibcode : 2001MWRv..129.2884A . CiteSeerX 10.1.1.5.9952 . doi : 10.1175/1520-0493(2001)129 < 2884:AEAKFF > 2.0.CO ; 2 .
- ↑ Evensen, G. (2004). "Estrategias de muestreo y esquemas de análisis de raíz cuadrada para el EnKF". Ocean Dynamics . 54 (6): 539– 560. Bibcode : 2004OcDyn..54..539E . CiteSeerX 10.1.1.3.6213 . doi : 10.1007/s10236-004-0099-2 . S2CID 120171951 .
- ↑ Tippett, MK; Anderson, JL; Bishop, CH; Hamill, TM; Whitaker, JS (2003). "Filtros de raíz cuadrada de conjunto". Monthly Weather Review . 131 (7): 1485– 1490. Bibcode : 2003MWRv..131.1485T . CiteSeerX 10.1.1.332.775 . doi : 10.1175/1520-0493(2003)131 < 1485:ESRF > 2.0.CO ; 2 .
- ↑ Anderson, JL (2003). "Un marco de mínimos cuadrados locales para el filtrado de conjuntos". Monthly Weather Review . 131 (4): 634– 642. Bibcode : 2003MWRv..131..634A . CiteSeerX 10.1.1.10.6543 . doi : 10.1175/1520-0493(2003)131 < 0634:ALLSFF > 2.0.CO ; 2 .
- ^ Ott, E .; cazar, BR; Szunyogh, I.; Zimin, AV; Kostelich, EJ; Corazza, M.; Kalnay, E .; Patil, D.; Yorke, JA (2004). "Un filtro Kalman de conjunto local para la asimilación de datos atmosféricos". Tellus A. 56 (5): 415– 428. arXiv : física/0203058 . Código Bib : 2004TellA..56..415O . doi : 10.3402/tellusa.v56i5.14462 . S2CID 218577557 .
- ↑ Ravela, S.; Emanuel, K. ; McLaughlin, D. (2007). "Asimilación de datos mediante alineación de campos". Physica . D: Fenómenos no lineales. 230 ( 1– 2): 127– 145. Bibcode : 2007PhyD..230..127R . doi : 10.1016/j.physd.2006.09.035 .
- ↑ Beezley, JD; Mandel, J. (2008). "Morphing ensemble Kalman filters". Tellus A . 60 (1): 131– 140. arXiv : 0705.3693 . Bibcode : 2008TellA..60..131B . doi : 10.1111/j.1600-0870.2007.00275.x . S2CID 1009227 .
- 1 2 Mandel, J.; Beezley, JD (noviembre de 2006). Predictor-corrector y filtros de conjunto de transformación para la asimilación de datos dispersos en sistemas no lineales de alta dimensión (PDF) . 11.º Simposio sobre Sistemas Integrados de Observación y Asimilación para la Atmósfera, los Océanos y la Superficie Terrestre (IOAS-AOLS), CD-ROM, Documento 4.12, 87.ª Reunión Anual de la Sociedad Meteorológica Americana, San Antonio, TX, enero de 2007. Informe CCM 239. Universidad de Colorado en Denver y Centro de Ciencias de la Salud.
- ↑ Anderson, JL; Anderson, SL (1999). "Una implementación de Monte Carlo del problema de filtrado no lineal para producir asimilaciones y pronósticos de conjunto". Monthly Weather Review . 127 (12): 2741– 2758. Bibcode : 1999MWRv..127.2741A . doi : 10.1175/1520-0493(1999)127 < 2741:AMCIOT > 2.0.CO ; 2 .
- ↑ Bengtsson, T.; Snyder, C.; Nychka, D. (2003). "Hacia un filtro de conjunto no lineal para sistemas de alta dimensión" . Journal of Geophysical Research: Atmospheres . 108 (D24): STS 2–1–10. Bibcode : 2003JGRD..108.8775B . doi : 10.1029/2002JD002900 .
- ↑ van Leeuwen, P. (2003). "Un filtro que minimiza la varianza para aplicaciones a gran escala". Monthly Weather Review . 131 (9): 2071– 2084. Bibcode : 2003MWRv..131.2071V . CiteSeerX 10.1.1.7.3719 . doi : 10.1175/1520-0493(2003)131 < 2071:AVFFLA > 2.0.CO ; 2 .
Enlaces externos
- Página web de EnKF
- TOPAZ, pronóstico en tiempo real del océano Atlántico Norte y el hielo marino del Ártico con el EnKF
- EnKF-C, un marco compacto para la asimilación de datos en modelos geofísicos estratificados a gran escala con EnKF
- PDAF – Parallel Data Assimilation Framework – un software de código abierto para la asimilación de datos que proporciona diferentes variantes del EnKF
- Filtros lineales
- Filtros no lineales
- estadística bayesiana
- Estimación de la señal
- métodos de Monte Carlo