detección de primer plano

Un algoritmo de detección de movimiento comienza con la segmentación, donde los objetos en primer plano o en movimiento se separan del fondo. La forma más sencilla de implementarlo es tomar una imagen como fondo y comparar los fotogramas obtenidos en el instante t, denotados por I(t), con la imagen de fondo, denotada por B. Mediante cálculos aritméticos sencillos, podemos segmentar los objetos utilizando la técnica de sustracción de imágenes de visión artificial. Esto significa que, para cada píxel en I(t), se toma el valor del píxel, denotado por P[I(t)], y se le resta el valor del píxel correspondiente en la misma posición en la imagen de fondo, denotado por P[B].

En una ecuación matemática, se escribe como:

${\displaystyle P[F(t)]=P[I(t)]-P[B]}$

Se supone que el fondo es el fotograma en el instante t . Esta imagen de diferencia solo mostraría cierta intensidad para las ubicaciones de píxeles que han cambiado en los dos fotogramas. Aunque aparentemente hemos eliminado el fondo, este enfoque solo funcionará para casos en los que todos los píxeles del primer plano se mueven y todos los píxeles del fondo son estáticos. ^{[ 2 ]} Se aplica un umbral "Threshold" a esta imagen de diferencia para mejorar la sustracción (véase Umbralización de imagen ):

${\displaystyle |P[F(t)]-P[F(t+1)]|>\mathrm {Umbral} }$

Esto significa que las intensidades de los píxeles de la imagen de diferencia se "umbralizan" o filtran en función del valor del umbral. ^{[ 3 ]} La precisión de este método depende de la velocidad del movimiento en la escena. Los movimientos más rápidos pueden requerir umbrales más altos.

Para calcular la imagen que contiene solo el fondo, se promedia una serie de imágenes precedentes. Para calcular la imagen de fondo en el instante t: 

${\displaystyle B(x,y,t)={1 \over N}\sum _{i=1}^{N}V(x,y,ti)}$

donde N es el número de imágenes precedentes tomadas para el promedio. Este promedio se refiere al promedio de los píxeles correspondientes en las imágenes dadas. N dependería de la velocidad del video (número de imágenes por segundo en el video) y la cantidad de movimiento en el video. ^{[ 4 ]} Después de calcular el fondo B ( x , y , t ) podemos restarlo de la imagen V ( x , y , t ) en el tiempo t  =  t y umbralizarlo. Por lo tanto, el primer plano es:

${\displaystyle |V(x,y,t)-B(x,y,t)|>\mathrm {Th} }$

donde Th es un valor umbral. De manera similar, también podemos usar la mediana en lugar de la media en el cálculo anterior de B ( x , y , t ).

El uso de umbrales globales e independientes del tiempo (mismo valor Th para todos los píxeles de la imagen) puede limitar la precisión de los dos enfoques anteriores. ^{[ 2 ]}

Para este método, Wren et al. ^{[ 5 ]} proponen ajustar una función de densidad de probabilidad gaussiana (pdf) al más reciente${\displaystyle n}$fotogramas. Para evitar ajustar el pdf desde cero en cada nuevo intervalo de tiempo del fotograma.${\displaystyle t}$Se calcula un promedio móvil (o acumulativo en línea).

La función de densidad de probabilidad de cada píxel se caracteriza por la media.${\displaystyle \mu _{t}}$y varianza${\displaystyle \sigma _{t}^{2}}$La siguiente es una posible condición inicial (suponiendo que inicialmente cada píxel es fondo):

${\displaystyle \mu_ {0}=I_ {0}}$

${\displaystyle \sigma _{0}^{2}=\langle {\text{algún valor predeterminado}}\rangle }$

dónde${\displaystyle I_{t}}$es el valor de la intensidad del píxel en el tiempo${\displaystyle t}$Para inicializar la varianza, podemos, por ejemplo, usar la varianza en x e y de una pequeña ventana alrededor de cada píxel.

Tenga en cuenta que el fondo puede cambiar con el tiempo (por ejemplo, debido a cambios de iluminación u objetos de fondo no estáticos). Para adaptarse a ese cambio, en cada fotograma${\displaystyle t}$La media y la varianza de cada píxel deben actualizarse de la siguiente manera:

${\displaystyle \mu _{t}=\rho I_{t}+(1-\rho )\mu _{t-1}}$

${\displaystyle \sigma _{t}^{2}=d^{2}\rho +(1-\rho )\sigma _{t-1}^{2}}$

${\displaystyle d=|(I_{t}-\mu _{t})|}$

Dónde${\displaystyle \rho }$determina el tamaño de la ventana temporal que se utiliza para ajustar la pdf (generalmente${\displaystyle \rho =0.01}$) y${\displaystyle d}$es la distancia euclidiana entre la media y el valor del píxel.

Ahora podemos clasificar un píxel como fondo si su intensidad actual se encuentra dentro de algún intervalo de confianza de la media de su distribución:

${\displaystyle {\frac {|(I_{t}-\mu _{t})|}{\sigma _{t}}}>k\longrightarrow {\text{primer plano}}}$

${\displaystyle {\frac {|(I_{t}-\mu _{t})|}{\sigma _{t}}}\leq k\longrightarrow {\text{fondo}}}$

donde el parámetro${\displaystyle k}$es un umbral libre (generalmente${\displaystyle k=2.5}$). Un valor mayor para${\displaystyle k}$permite un fondo más dinámico, mientras que uno más pequeño${\displaystyle k}$aumenta la probabilidad de una transición del fondo al primer plano debido a cambios más sutiles.

En una variante del método, la distribución de un píxel solo se actualiza si se clasifica como fondo. Esto evita que los objetos de primer plano recién introducidos se desvanezcan en el fondo. La fórmula de actualización para la media se modifica en consecuencia:

${\displaystyle \mu _{t}=M\mu _{t-1}+(1-M)(I_{t}\rho +(1-\rho )\mu _{t-1})}$

dónde${\displaystyle M=1}$cuando${\displaystyle I_{t}}$se considera primer plano y${\displaystyle M=0}$de lo contrario. Entonces cuando${\displaystyle M=1}$Es decir, cuando el píxel se detecta como primer plano, la media se mantiene igual. Como resultado, un píxel, una vez que se ha convertido en primer plano, solo puede volver a ser fondo cuando el valor de intensidad se acerca al que tenía antes de convertirse en primer plano. Sin embargo, este método tiene varios problemas: solo funciona si todos los píxeles son inicialmente píxeles de fondo (o si los píxeles de primer plano están anotados como tales). Además, no puede manejar cambios graduales de fondo: si un píxel se clasifica como primer plano durante un período de tiempo demasiado largo, la intensidad del fondo en esa ubicación podría haber cambiado (debido a que la iluminación ha cambiado, etc.). Como resultado, una vez que el objeto de primer plano desaparece, la nueva intensidad del fondo podría ya no ser reconocida como tal.

El método de mezcla de gaussianas modela cada píxel como una mezcla de gaussianas y utiliza una aproximación en línea para actualizar el modelo. En esta técnica, se asume que los valores de intensidad de cada píxel en el video pueden modelarse mediante un modelo de mezcla gaussiana . ^{[ 6 ]} Una heurística simple determina qué intensidades son más probablemente del fondo. Los píxeles que no coinciden con estas se denominan píxeles de primer plano. Los píxeles de primer plano se agrupan mediante análisis de componentes conectados 2D. ^{[ 6 ]}

En cualquier momento t, un píxel en particular (${\displaystyle x_{0},y_{0}}$La historia de ) es:

${\displaystyle X_{1},\ldots ,X_{t}=\{V(x_{0},y_{0},i):1\leqslant i\leqslant t\}}$

Esta historia se modela mediante una mezcla de K distribuciones gaussianas:

${\displaystyle P(X_{t})=\sum _{i=1}^{K}\omega _{i,t}N\left(X_{t}\mid \mu _{i,t},\sigma _{i,t}\right)}$

dónde:

${\displaystyle N\left(X_{t}\mid \mu _{i,t},\sigma _{i,t}\right)={\dfrac {1}{(2\pi )^{D/2}}}{1 \over |\sigma _{i,t}|^{1/2}}\exp \left(-{1 \over 2}(X_{t}-\mu _{i,t})^{T}\sigma _{i,t}^{-1}\left(X_{t}-\mu _{i,t}\right)\right)}$

En primer lugar, cada píxel se caracteriza por su intensidad en el espacio de color RGB. A continuación, la probabilidad de observar el píxel actual viene dada por la siguiente fórmula en el caso multidimensional:

${\displaystyle P(X_{t})=\sum _{i=1}^{K}\omega _{i,t}\eta \left(X_{t},\,\mu _{i,t},\sigma _{i,t}\right)}$

Donde K es el número de distribuciones, ω es un peso asociado a la i-ésima gaussiana en el tiempo t y μ, Σ son la media y la desviación estándar de dicha gaussiana respectivamente.

${\displaystyle \eta \left(X_{t},\,\mu _{i,t},\sigma _{i,t}\right)={\dfrac {1}{(2\pi )^{D/2}}}{1 \over |\sigma _{i,t}|^{1/2}}\exp \left(-{1 \over 2}(X_{t}-\mu _{i,t})^{T}\sigma _{i,t}^{-1}\left(X_{t}-\mu _{i,t}\right)\right)}$

Una vez inicializados los parámetros, se puede realizar una primera detección de primer plano y luego actualizar los parámetros. La primera distribución gaussiana B que supera el umbral T se conserva como distribución de fondo:

${\displaystyle B=\operatorname {argmin} \left(\Sigma _{i=1}^{B}\omega _{i,t}>T\right)}$

Las otras distribuciones se consideran representativas de una distribución de primer plano. Luego, cuando los nuevos ingresos del marco en los momentos...${\displaystyle t+1}$Se realiza una prueba de coincidencia a cada píxel. Un píxel coincide con una distribución gaussiana si la distancia de Mahalanobis :

${\displaystyle \left(\left(X_{t+1}-\mu _{i,t}\right)^{T}\sigma _{i,t}^{-1}\left(X_{t+1}-\mu _{i,t}\right)\right)^{0.5}<k\cdot \sigma _{i,t}}$

donde k es un umbral constante igual a${\displaystyle 2.5}$Entonces, pueden darse dos casos:

Caso 1: Se encuentra una coincidencia con una de las k gaussianas. Para el componente coincidente, la actualización se realiza de la siguiente manera: ^{[ 7 ]}

${\displaystyle \sigma _{i,t+1}^{2}=\left(1-\rho \right)\sigma _{i,t}^{2}+\rho \left(X_{x+1}-\mu _{x+1}\right)\left(X_{x+1}-\mu _{x+1}\right)^{T}}$

Power y Schoonees [3] utilizaron el mismo algoritmo para segmentar el primer plano de la imagen:

${\displaystyle \sigma _{i,t+1}=\left(1-\alpha \right)\omega _{i,t}+\alpha P\left(k\mid X_{t},\varphi \right)}$

La aproximación esencial a${\displaystyle P\left(k\mid \ X_{t},\varphi \right)}$es dado por${\displaystyle M_{k,t}}$: ^{[ 8 ]}

${\displaystyle M_{k,t}={\begin{cases}1&{\text{match}},\\0&{\text{otherwise}}.\end{cases}}}$

Caso 2: No se encuentra ninguna coincidencia con ninguno de los${\displaystyle K}$Gaussianas. En este caso, la distribución menos probable${\displaystyle K}$se reemplaza por uno nuevo con parámetros:

${\displaystyle k_{i.t}={\text{low prior weight}}}$

${\displaystyle \mu _{i,t+1}=X_{t+1}}$

${\displaystyle \sigma _{i.t+1}^{2}={\text{large initial variance}}}$

Una vez realizado el mantenimiento de parámetros, se puede realizar la detección de primer plano y así sucesivamente. Se utiliza una aproximación K-means en línea para actualizar las gaussianas. Se han propuesto numerosas mejoras de este método original desarrollado por Stauffer y Grimson ^{[ 6 ] y se puede encontrar una revisión completa en Bouwmans et al. [ 7 ].} Un método estándar de fondo adaptativo consiste en promediar las imágenes a lo largo del tiempo, creando una aproximación de fondo que es similar a la escena estática actual excepto donde ocurre movimiento.

En la bibliografía se pueden encontrar varios artículos comparativos/de evaluación:

• A. Sobral, A. Vacavant. " Una revisión exhaustiva de los algoritmos de sustracción de fondo evaluados con vídeos sintéticos y reales "". Visión por Computadora y Comprensión de Imágenes, CVIU 2014, 2014.
• A. Shahbaz, J. Hariyono, K. Jo, " Evaluación de algoritmos de sustracción de fondo para videovigilancia ", FCV 2015, 2015.
• Y. Xu, J. Dong, B. Zhang, D. Xu, " Métodos de modelado de fondo en el análisis de vídeo: una revisión y evaluación comparativa ", CAAI Transactions on Intelligence Technology, páginas 43–60, Volumen 1, Número 1, enero de 2016.

• T. Bouwmans, F. Porikli, B. Horferlin, A. Vacavant, Manual sobre "Modelado de fondo y detección de primer plano para videovigilancia: enfoques tradicionales y recientes, implementaciones, evaluación comparativa y análisis" , CRC Press, Taylor and Francis Group, junio de 2014. (Para más información: http://www.crcpress.com/product/isbn/9781482205374 )
• T. Bouwmans, N. Aybat y E. Zahzah. Manual sobre descomposición robusta de matrices dispersas y de bajo rango: aplicaciones en el procesamiento de imágenes y vídeo , CRC Press, Taylor and Francis Group, mayo de 2016. (Para más información: http://www.crcpress.com/product/isbn/9781498724623 )

• T. Bouwmans, L. Davis, J. Gonzalez, M. Piccardi, C. Shan, Número especial sobre " Modelado de fondo para la detección de primer plano en escenas dinámicas del mundo real ", Número especial en Machine Vision and Applications , julio de 2014.
• A. Vacavant, L. Tougne, T. Chateau, Sección especial sobre " Comparación de modelos de fondo ", Visión por computadora y comprensión de imágenes , CVIU 2014, mayo de 2014.
• A. Petrosino, L. Maddalena, T. Bouwmans, Número especial sobre " Modelado e inicialización del fondo de la escena ", Pattern Recognition Letters , septiembre de 2017.
• T. Bouwmans, Número especial sobre " Detección de objetos en movimiento ", MDPI Journal of Imaging, 2018.

• Taller sobre aprendizaje de fondo para detección y seguimiento a partir de vídeos RGB (RGBD 2017) en conjunto con ICIAP 2017. (Para más información: http://rgbd2017.na.icar.cnr.it/ )
• Taller de modelado e inicialización de fondos de escena (SBMI 2015) en conjunto con ICIAP 2015. (Para más información: http://sbmi2015.na.icar.cnr.it/ )
• Taller de detección de cambios de IEEE en conjunto con CVPR 2014. (Para más información: http://www.changedetection.net/ Archivado el 17/12/2014 en Wayback Machine )
• Taller sobre desafíos de los modelos de fondo (BMC 2012) en conjunto con ACCV 2012. (Para más información: http://bmc.iut-auvergne.com/ )

• Concurso IEEE de Modelado de Fondos de Escena (SBMC 2016) en conjunto con ICPR 2016 (Para más información: http://pione.dinf.usherbrooke.ca/sbmc2016/ Archivado el 10 de agosto de 2019 en Wayback Machine )

• Sitio web de sustracción de fondo

El sitio web Background Sustraction (T. Bouwmans, Univ. La Rochelle, Francia) contiene una lista completa de las referencias en este campo, así como enlaces a conjuntos de datos y software disponibles.

• ChangeDetection.net (Para más información: http://www.changedetection.net/ Archivado el 17/12/2014 en Wayback Machine )
• Desafío de modelos de fondo (Para más información: http://bmc.iut-auvergne.com/ )
• Conjunto de datos de sustracción de fondo artificial de Stuttgart (Para más información: http://www.vis.uni-stuttgart.de/index.php?id=sabs Archivado el 27/03/2015 en Wayback Machine )
• Conjunto de datos SBMI (Para más información: http://sbmi2015.na.icar.cnr.it/ )
• Conjunto de datos SBMnet (Para más información: http://pione.dinf.usherbrooke.ca/dataset/ Archivado el 31/10/2018 en Wayback Machine )

• FondoSubtractorCNT

La biblioteca BackgroundSubtractorCNT implementa un algoritmo muy rápido y de alta calidad escrito en C++ basado en OpenCV. Está diseñado para hardware de bajas especificaciones, pero funciona igual de rápido en sistemas Linux y Windows modernos. (Para más información: https://github.com/sagi-z/BackgroundSubtractorCNT ).

• Biblioteca BGS

La biblioteca BGS (A. Sobral, Univ. La Rochelle, Francia) proporciona un marco de trabajo en C++ para realizar algoritmos de sustracción de fondo. El código funciona tanto en Windows como en Linux. Actualmente, la biblioteca ofrece más de 30 algoritmos BGS. (Para más información: https://github.com/andrewssobral/bgslibrary )

• Biblioteca LRS: Herramientas de bajo rango y dispersas para el modelado y la sustracción de fondo en vídeos. La biblioteca LRS (A. Sobral, Univ. La Rochelle, Francia) ofrece una colección de algoritmos de descomposición de bajo rango y dispersa en MATLAB. Diseñada para la segmentación de movimiento en vídeos, también puede utilizarse o adaptarse a otros problemas de visión artificial. Actualmente, la biblioteca LRS contiene más de 100 algoritmos basados ​​en matrices y tensores. (Para más información: https://github.com/andrewssobral/lrslibrary )
• OpenCV: La biblioteca OpenCV proporciona varios algoritmos de segmentación de fondo/primer plano .