Análisis de componentes independientes

En el modelo ICA clásico, se supone que los datos observados${\displaystyle \mathbf {x} _{i}\in \mathbb {R} ^{m}}$en ese momento${\displaystyle t_{i}}$se genera a partir de señales fuente${\displaystyle \mathbf {s} _{i}\in \mathbb {R} ^{m}}$mediante una transformación lineal${\displaystyle \mathbf {x} _{i}=A\mathbf {s} _{i}}$, dónde${\displaystyle A}$es una matriz de mezcla desconocida e invertible. Para recuperar las señales de origen, los datos se centran primero (media cero) y luego se blanquean de modo que los datos transformados tengan covarianza unitaria. Este blanqueamiento reduce el problema de estimar una matriz general.${\displaystyle A}$para estimar una matriz ortogonal${\displaystyle V}$, lo que simplifica significativamente la búsqueda de componentes independientes.

Si la matriz de covarianza de los datos centrados es${\displaystyle \Sigma _{x}=AA^{\top }}$, luego utilizando la descomposición en valores propios${\displaystyle \Sigma _{x}=QDQ^{\top }}$, la transformación blanqueadora puede tomarse como${\displaystyle D^{-1/2}Q^{\top }}$Este paso garantiza que las fuentes recuperadas no estén correlacionadas y tengan varianza unitaria, dejando únicamente la tarea de rotar los datos blanqueados para maximizar la independencia estadística. Esta derivación general subyace a muchos algoritmos ICA y es fundamental para comprender el modelo ICA. ^{[ 12 ]}

Los componentes independientes son identificables salvo una permutación y escalado de las fuentes. ^{[ 13 ]} Esta identificabilidad requiere que:

• Como máximo una de las fuentes${\displaystyle s_{k}}$es gaussiana,
• El número de mezclas observadas,${\displaystyle m}$debe ser al menos tan grande como el número de componentes estimados${\displaystyle n}$:${\displaystyle m\geq n}$. Es equivalente a decir que la matriz de mezcla${\displaystyle {\boldsymbol {A}}}$debe ser de rango completo para que exista su inverso.

Las mezclas de señales tienden a tener funciones de densidad de probabilidad gaussianas, y las señales fuente tienden a tener funciones de densidad de probabilidad no gaussianas. Cada señal fuente se puede extraer de un conjunto de mezclas de señales calculando el producto escalar de un vector de ponderación y aquellas mezclas de señales donde este producto escalar proporciona una proyección ortogonal de las mezclas de señales. El desafío restante es encontrar dicho vector de ponderación. Un tipo de método para lograrlo es la búsqueda de proyección . ^{[ 17 ] [ 18 ]}

La búsqueda de proyecciones busca una proyección a la vez de manera que la señal extraída sea lo menos gaussiana posible. Esto contrasta con el ICA, que normalmente extrae M señales simultáneamente de M mezclas de señales, lo que requiere estimar una matriz de desmezcla M × M. Una ventaja práctica de la búsqueda de proyecciones sobre el ICA es que se pueden extraer menos de M señales si es necesario, donde cada señal fuente se extrae de M mezclas de señales utilizando un vector de ponderación de M elementos.

Podemos utilizar la curtosis para recuperar la señal de múltiples fuentes encontrando los vectores de peso correctos mediante el uso de la búsqueda de proyección.

La curtosis de la función de densidad de probabilidad de una señal, para una muestra finita, se calcula como

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$

dónde${\displaystyle \mathbf {\overline {y}} }$es la media muestral de${\displaystyle \mathbf {y} }$, las señales extraídas. La constante 3 asegura que las señales gaussianas tengan curtosis cero, las señales supergaussianas tengan curtosis positiva y las señales subgaussianas tengan curtosis negativa. El denominador es la varianza de${\displaystyle \mathbf {y} }$y garantiza que la curtosis medida tenga en cuenta la varianza de la señal. El objetivo de la búsqueda de proyección es maximizar la curtosis y lograr que la señal extraída sea lo menos normal posible.

Utilizando la curtosis como medida de no normalidad, ahora podemos examinar cómo la curtosis de una señal${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$extraído de un conjunto de mezclas M${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$varía según el vector de peso${\displaystyle \mathbf {w} }$se rota alrededor del origen. Dado nuestro supuesto de que cada señal fuente${\displaystyle \mathbf {s} }$es supergaussiano como cabría esperar:

1. la curtosis de la señal extraída${\displaystyle \mathbf {y} }$ser máximo precisamente cuando${\displaystyle \mathbf {y} =\mathbf {s} }$.
2. la curtosis de la señal extraída${\displaystyle \mathbf {y} }$ser máximo cuando${\displaystyle \mathbf {w} }$es ortogonal a los ejes proyectados${\displaystyle S_{1}}$o${\displaystyle S_{2}}$porque sabemos que el vector de peso óptimo debe ser ortogonal a un eje transformado.${\displaystyle S_{1}}$o${\displaystyle S_{2}}$.

Para señales de mezcla de múltiples fuentes, podemos utilizar la curtosis y la ortogonalización de Gram-Schmidt (GSO) para recuperar las señales. Dada una mezcla de M señales en un espacio de M dimensiones, GSO proyecta estos puntos de datos en un espacio de ( M-1 ) dimensiones mediante el vector de pesos. Podemos garantizar la independencia de las señales extraídas con el uso de GSO.

Para encontrar el valor correcto de${\displaystyle \mathbf {w} }$Podemos utilizar el método de descenso de gradiente . En primer lugar, blanqueamos los datos y los transformamos.${\displaystyle \mathbf {x} }$en una nueva mezcla${\displaystyle \mathbf {z} }$, que tiene varianza unitaria, y${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$Este proceso se puede lograr aplicando la descomposición en valores singulares a${\displaystyle \mathbf {x} }$,

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$

Reescalar cada vector${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$y dejar${\displaystyle \mathbf {z} =\mathbf {U} }$. La señal extraída por un vector ponderado${\displaystyle \mathbf {w} }$es${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$. Si el vector de pesos w tiene longitud unitaria, entonces la varianza de y también es 1, es decir${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$La curtosis se puede escribir, por lo tanto, como:

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$

El proceso de actualización para${\displaystyle \mathbf {w} }$es:

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$

dónde${\displaystyle \eta }$es una pequeña constante para garantizar que${\displaystyle \mathbf {w} }$converge a la solución óptima. Después de cada actualización, normalizamos${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$y establecer${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$y repetir el proceso de actualización hasta la convergencia. También podemos usar otro algoritmo para actualizar el vector de pesos.${\displaystyle \mathbf {w} }$.

Otro enfoque es usar negentropía ^{[ 10 ] [ 19 ]} en lugar de curtosis. Usar negentropía es un método más robusto que curtosis, ya que curtosis es muy sensible a los valores atípicos. Los métodos de negentropía se basan en una propiedad importante de la distribución gaussiana: una variable gaussiana tiene la mayor entropía entre todas las variables aleatorias continuas de igual varianza. Esta es también la razón por la que queremos encontrar las variables más no gaussianas. Una demostración simple se puede encontrar en Entropía diferencial .

${\displaystyle J(x)=S(y)-S(x)\,}$

y es una variable aleatoria gaussiana con la misma matriz de covarianza que x.

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

Una aproximación para la negentropía es

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$

Una demostración se puede encontrar en los trabajos originales de Comon; ^{[ 20 ] [ 10 ]} ha sido reproducida en el libro Análisis de componentes independientes de Aapo Hyvärinen, Juha Karhunen y Erkki Oja ^{[ 21 ]} Esta aproximación también sufre del mismo problema que la curtosis (sensibilidad a los valores atípicos). Se han desarrollado otros enfoques. ^{[ 22 ]}

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$

Una selección de${\displaystyle G_{1}}$y${\displaystyle G_{2}}$son

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$y${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$

Infomax ICA ^{[ 23 ]} es esencialmente una versión paralela y multivariada de la búsqueda de proyección. Mientras que la búsqueda de proyección extrae una serie de señales una a una de un conjunto de M mezclas de señales, ICA extrae M señales en paralelo. Esto tiende a hacer que ICA sea más robusto que la búsqueda de proyección. ^{[ 24 ]}

El método de proyección utiliza la ortogonalización de Gram-Schmidt para garantizar la independencia de la señal extraída, mientras que el ICA utiliza la estimación infomax y de máxima verosimilitud para asegurar la independencia de la señal extraída. La no normalidad de la señal extraída se logra asignándole un modelo apropiado, o distribución a priori.

El proceso de ICA basado en Infomax , en resumen, es: dado un conjunto de mezclas de señales${\displaystyle \mathbf {x} }$y un conjunto de funciones de distribución acumulativa (FDA) de modelos independientes e idénticos.${\displaystyle g}$, buscamos la matriz de desmezcla${\displaystyle \mathbf {W} }$lo que maximiza la entropía conjunta de las señales${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$, dónde${\displaystyle \mathbf {y} =\mathbf {Wx} }$son las señales extraídas por${\displaystyle \mathbf {W} }$Dado el óptimo${\displaystyle \mathbf {W} }$las señales${\displaystyle \mathbf {Y} }$tienen entropía máxima y por lo tanto son independientes, lo que garantiza que las señales extraídas${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$también son independientes.${\displaystyle g}$es una función invertible, y es el modelo de señal. Nótese que si la función de densidad de probabilidad del modelo de señal de la fuente${\displaystyle p_{s}}$coincide con la función de densidad de probabilidad de la señal extraída${\displaystyle p_{\mathbf {y} }}$, luego maximizando la entropía conjunta de${\displaystyle Y}$también maximiza la cantidad de información mutua entre${\displaystyle \mathbf {x} }$y${\displaystyle \mathbf {Y} }$Por esta razón, el uso de la entropía para extraer señales independientes se conoce como infomax .

Consideremos la entropía de la variable vectorial.${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$, dónde${\displaystyle \mathbf {y} =\mathbf {Wx} }$es el conjunto de señales extraídas por la matriz de desmezcla${\displaystyle \mathbf {W} }$Para un conjunto finito de valores muestreados de una distribución con pdf${\displaystyle p_{\mathbf {y} }}$, la entropía de${\displaystyle \mathbf {Y} }$se puede estimar como:

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$

El PDF conjunto${\displaystyle p_{\mathbf {Y} }}$Se puede demostrar que está relacionado con la función de densidad de probabilidad conjunta.${\displaystyle p_{\mathbf {y} }}$de las señales extraídas mediante la forma multivariada:

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$

dónde${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$es la matriz jacobiana . Tenemos${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$, y${\displaystyle g'}$¿Es la función de densidad de probabilidad (pdf) asumida para las señales fuente?${\displaystyle g'=p_{s}}$, por lo tanto,

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

por lo tanto,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

Sabemos que cuando${\displaystyle p_{\mathbf {y} }=p_{s}}$,${\displaystyle p_{\mathbf {Y} }}$es de distribución uniforme y${\displaystyle H({\mathbf {Y} })}$se maximiza. Dado que

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$

dónde${\displaystyle |\mathbf {W} |}$es el valor absoluto del determinante de la matriz de desmezcla${\displaystyle \mathbf {W} }$. Por lo tanto,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$

entonces,

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$

desde${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$y maximizar${\displaystyle \mathbf {W} }$no afecta${\displaystyle H_{\mathbf {x} }}$, por lo que podemos maximizar la función

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$

para lograr la independencia de la señal extraída.

Si hay M funciones de densidad de probabilidad marginales de la función de densidad de probabilidad conjunta del modelo${\displaystyle p_{\mathbf {s} }}$son independientes y utilizan la función de densidad de probabilidad del modelo supergaussiano común para las señales fuente.${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$, entonces tenemos

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w} _{i}^{\mathsf {T}}\mathbf {x} ^{t})^{2})+\ln |\mathbf {W} |}$

En la suma, dada una mezcla de señales observada ${\displaystyle \mathbf {x} }$, el conjunto correspondiente de señales extraídas ${\displaystyle \mathbf {y} }$ y modelo de señal de fuente${\displaystyle p_{\mathbf {s} }=g'}$, podemos encontrar la matriz de desmezcla óptima${\displaystyle \mathbf {W} }$y hacer que las señales extraídas sean independientes y no gaussianas. Al igual que en el caso de la búsqueda de proyección, podemos usar el método de descenso de gradiente para encontrar la solución óptima de la matriz de desmezcla.

La estimación de máxima verosimilitud (MLE) es una herramienta estadística estándar para encontrar valores de parámetros (por ejemplo, la matriz de desmezcla).${\displaystyle \mathbf {W} }$) que proporcionan el mejor ajuste de algunos datos (por ejemplo, las señales extraídas)${\displaystyle y}$) a un modelo dado (por ejemplo, la función de densidad de probabilidad conjunta supuesta (pdf)${\displaystyle p_{s}}$de señales de fuente). ^{[ 24 ]}

El "modelo" de ML incluye una especificación de un pdf, que en este caso es el pdf${\displaystyle p_{s}}$de las señales de la fuente desconocida${\displaystyle s}$. Utilizando ML ICA , el objetivo es encontrar una matriz de desmezcla que produzca señales extraídas.${\displaystyle y=\mathbf {W} x}$con un pdf conjunto lo más similar posible al pdf conjunto${\displaystyle p_{s}}$de las señales de la fuente desconocida${\displaystyle s}$.

Por lo tanto, MLE se basa en la suposición de que si la función de densidad de probabilidad del modelo${\displaystyle p_{s}}$y los parámetros del modelo${\displaystyle \mathbf {A} }$Si son correctos, entonces se debería obtener una alta probabilidad para los datos.${\displaystyle x}$que fueron realmente observados. Por el contrario, si${\displaystyle \mathbf {A} }$Si los valores de los parámetros están lejos de ser correctos, entonces se esperaría una baja probabilidad de los datos observados.

Utilizando MLE , llamamos probabilidad de los datos observados para un conjunto dado de valores de parámetros del modelo (por ejemplo, una pdf)${\displaystyle p_{s}}$y una matriz${\displaystyle \mathbf {A} }$) la probabilidad de los valores de los parámetros del modelo dados los datos observados.

Definimos una función de verosimilitud${\displaystyle \mathbf {L(W)} }$de${\displaystyle \mathbf {W} }$:

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$

Esto equivale a la densidad de probabilidad en${\displaystyle x}$, desde${\displaystyle s=\mathbf {W} x}$.

Por lo tanto, si deseamos encontrar un${\displaystyle \mathbf {W} }$que es muy probable que haya generado las mezclas observadas${\displaystyle x}$a partir de señales de fuente desconocida${\displaystyle s}$con pdf${\displaystyle p_{s}}$entonces solo necesitamos encontrar eso${\displaystyle \mathbf {W} }$lo que maximiza la probabilidad${\displaystyle \mathbf {L(W)} }$La matriz de desmezcla que maximiza la ecuación se conoce como el estimador de máxima verosimilitud (MLE) de la matriz de desmezcla óptima.

Es práctica común utilizar la verosimilitud logarítmica , porque es más fácil de evaluar. Como el logaritmo es una función monótona,${\displaystyle \mathbf {W} }$que maximiza la función${\displaystyle \mathbf {L(W)} }$también maximiza su logaritmo${\displaystyle \ln \mathbf {L(W)} }$Esto nos permite tomar el logaritmo de la ecuación anterior, lo que produce la función de verosimilitud logarítmica.

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$

Si sustituimos una función de densidad de probabilidad (pdf) de un modelo de curtosis alta de uso común para las señales fuente${\displaystyle p_{s}=(1-\tanh(s)^{2})}$entonces tenemos

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$

Esta matriz${\displaystyle \mathbf {W} }$que maximiza esta función es la estimación de máxima verosimilitud .