Canonical correlation

In statistics, canonical-correlation analysis (CCA), also called canonical variates analysis, is a way of inferring information from cross-covariance matrices. If we have two vectors X = (X₁, ..., X_n) and Y = (Y₁, ..., Y_m) of random variables, and there are correlations among the variables, then canonical-correlation analysis will find linear combinations of X and Y that have a maximum correlation with each other.^[1] T. R. Knapp notes that "virtually all of the commonly encountered parametric tests of significance can be treated as special cases of canonical-correlation analysis, which is the general procedure for investigating the relationships between two sets of variables."^[2] The method was first introduced by Harold Hotelling in 1936,^[3] although in the context of angles between flats the mathematical concept was published by Camille Jordan in 1875.^[4]

CCA is now a cornerstone of multivariate statistics and multi-view learning, and a great number of interpretations and extensions have been proposed, such as probabilistic CCA, sparse CCA, multi-view CCA, deep CCA,^[5] and DeepGeoCCA.^[6] Unfortunately, perhaps because of its popularity, the literature can be inconsistent with notation. We attempt to highlight such inconsistencies in this article to help the reader make best use of the existing literature and techniques available.

Like its sister method PCA, CCA can be viewed in population form (corresponding to random vectors and their covariance matrices) or in sample form (corresponding to datasets and their sample covariance matrices). These two forms are almost exact analogues of each other, which is why their distinction is often overlooked, but they can behave very differently in high dimensional settings.^[7] We next give explicit mathematical definitions for the population problem and highlight the different objects in the so-called canonical decomposition - understanding the differences between these objects is crucial for interpretation of the technique.

Given two column vectors${\displaystyle X=(x_{1},\dots ,x_{n})^{T}}$ and ${\displaystyle Y=(y_{1},\dots,y_{m})^{T}}$ of random variables with finitesecond moments, one may define the cross-covariance${\displaystyle \Sigma _{XY}=\operatorname {cov} (X,Y)}$ to be the ${\displaystyle n\times m}$matrix whose ${\displaystyle (i,j)}$ entry is the covariance${\displaystyle \operatorname {cov} (x_ {i}, y_ {j})}$. In practice, we would estimate the covariance matrix based on sampled data from ${\displaystyle X}$ and ${\displaystyle Y}$ (i.e. from a pair of data matrices).

Canonical-correlation analysis seeks a sequence of vectors ${\displaystyle a_{k}}$ (${\displaystyle a_{k}\in \mathbb {R} ^{n}}$) and ${\displaystyle b_{k}}$ (${\displaystyle b_{k}\in \mathbb {R} ^{m}}$) such that the random variables ${\displaystyle a_{k}^{T}X}$ and ${\displaystyle b_{k}^{T}Y}$ maximize the correlation${\displaystyle \rho =\operatorname {corr} (a_{k}^{T}X,b_{k}^{T}Y)}$. The (scalar) random variables ${\displaystyle U=a_{1}^{T}X}$ and ${\displaystyle V=b_{1}^{T}Y}$ are the first pair of canonical variables. Then one seeks vectors maximizing the same correlation subject to the constraint that they are to be uncorrelated with the first pair of canonical variables; this gives the second pair of canonical variables. This procedure may be continued up to ${\displaystyle \min\{m,n\}}$ times.

$${\displaystyle (a_{k},b_{k})={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)\quad {\text{ sujeto a }}\operatorname {cov} (a^{T}X,a_{j}^{T}X)=\operatorname {cov} (b^{T}Y,b_{j}^{T}Y)=0{\text{ para }}j=1,\dots ,k-1}$$

The sets of vectors ${\displaystyle a_{k},b_{k}}$ are called canonical directions or weight vectors or simply weights. The 'dual' sets of vectors ${\displaystyle \Sigma _{XX}a_{k},\Sigma _{YY}b_{k}}$ are called canonical loading vectors or simply loadings; these are often more straightforward to interpret than the weights.^[8]

Cada fila puede ser probada para determinar su significancia con el siguiente método. Dado que las correlaciones están ordenadas, decir que la fila${\displaystyle i}$es cero implica que todas las correlaciones posteriores también son cero. Si tenemos${\displaystyle p}$observaciones independientes en una muestra y${\displaystyle {\widehat {\rho }}_{i}}$es la correlación estimada para${\displaystyle i=1,\dots ,\min\{m,n\}}$. Para el${\displaystyle i}$En la fila n, el estadístico de prueba es:

${\displaystyle \chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),}$

que se distribuye asintóticamente como una chi-cuadrado con${\displaystyle (m-i+1)(n-i+1)}$grados de libertad para grandes${\displaystyle p}$. ^{[ 13 ]} Dado que todas las correlaciones de${\displaystyle \min\{m,n\}}$a${\displaystyle p}$son lógicamente cero (y se estiman de esa manera también) el producto para los términos después de este punto es irrelevante.

Tenga en cuenta que en el límite de tamaño de muestra pequeño con${\displaystyle p<n+m}$entonces tenemos la garantía de que lo mejor${\displaystyle m+n-p}$Las correlaciones serán idénticamente 1 y, por lo tanto, la prueba carece de sentido. ^{[ 14 ]}

Un uso típico de la correlación canónica en el contexto experimental es tomar dos conjuntos de variables y ver qué tienen en común. ^{[ 15 ]} Por ejemplo, en las pruebas psicológicas, se podrían tomar dos pruebas de personalidad multidimensionales bien establecidas , como el Inventario Multifásico de Personalidad de Minnesota (MMPI-2) y el NEO . Al ver cómo se relacionan los factores del MMPI-2 con los factores del NEO, se podría obtener información sobre qué dimensiones eran comunes entre las pruebas y cuánta varianza se compartía. Por ejemplo, se podría encontrar que una dimensión de extraversión o neuroticismo explicaba una cantidad sustancial de varianza compartida entre las dos pruebas.

También se puede utilizar el análisis de correlación canónica para generar una ecuación modelo que relacione dos conjuntos de variables, por ejemplo, un conjunto de medidas de rendimiento y un conjunto de variables explicativas, o un conjunto de salidas y un conjunto de entradas. Se pueden imponer restricciones a dicho modelo para asegurar que refleje los requisitos teóricos o condiciones intuitivamente obvias. Este tipo de modelo se conoce como modelo de correlación máxima. ^{[ 16 ]}

La visualización de los resultados de la correlación canónica se realiza generalmente mediante gráficos de barras de los coeficientes de los dos conjuntos de variables para los pares de variables canónicas que muestran una correlación significativa. Algunos autores sugieren que la mejor manera de visualizarlos es representándolos como heliógrafos, un formato circular con barras en forma de rayos, donde cada mitad representa los dos conjuntos de variables. ^{[ 17 ]}

Dejar${\displaystyle X=x_{1}}$con valor esperado cero , es decir,${\displaystyle \operatorname {E} (X)=0}$.

1. Si${\displaystyle Y=X}$, es decir,${\displaystyle X}$y${\displaystyle Y}$están perfectamente correlacionados, entonces, por ejemplo,${\displaystyle a=1}$y${\displaystyle b=1}$, de modo que el primer (y único en este ejemplo) par de variables canónicas es${\displaystyle U=X}$y${\displaystyle V=Y=X}$.
2. Si${\displaystyle Y=-X}$, es decir,${\displaystyle X}$y${\displaystyle Y}$están perfectamente anticorrelacionados, entonces, por ejemplo,${\displaystyle a=1}$y${\displaystyle b=-1}$, de modo que el primer (y único en este ejemplo) par de variables canónicas es${\displaystyle U=X}$y${\displaystyle V=-Y=X}$.

Observamos que en ambos casos${\displaystyle U=V}$, lo que demuestra que el análisis de correlación canónica trata las variables correlacionadas y anticorrelacionadas de manera similar.

Suponiendo que${\displaystyle X=(x_{1},\dots ,x_{n})^{T}}$y${\displaystyle Y=(y_{1},\dots ,y_{m})^{T}}$tienen valores esperados cero , es decir,${\displaystyle \operatorname {E} (X)=\operatorname {E} (Y)=0}$, sus matrices de covarianza${\displaystyle \Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX^{T}]}$y${\displaystyle \Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY^{T}]}$pueden verse como matrices de Gram en un producto interno para las entradas de ${\displaystyle X}$y${\displaystyle Y}$, correspondientemente. En esta interpretación, las variables aleatorias, entradas${\displaystyle x_{i}}$de ${\displaystyle X}$y${\displaystyle y_{j}}$de${\displaystyle Y}$se tratan como elementos de un espacio vectorial con un producto interno dado por la covarianza${\displaystyle \operatorname {cov} (x_{i},y_{j})}$; véase Covarianza#Relación con productos internos .

La definición de las variables canónicas${\displaystyle U}$y${\displaystyle V}$es entonces equivalente a la definición de vectores principales para el par de subespacios generados por las entradas de ${\displaystyle X}$y${\displaystyle Y}$con respecto a este producto interno . Las correlaciones canónicas${\displaystyle \operatorname {corr} (U,V)}$es igual al coseno de los ángulos principales .

CCA también puede considerarse una transformación de blanqueamiento especial donde los vectores aleatorios${\displaystyle X}$y${\displaystyle Y}$se transforman simultáneamente de tal manera que la correlación cruzada entre los vectores blanqueados${\displaystyle X^{CCA}}$y${\displaystyle Y^{CCA}}$es diagonal. ^{[ 18 ]} Las correlaciones canónicas se interpretan entonces como coeficientes de regresión que vinculan${\displaystyle X^{CCA}}$y${\displaystyle Y^{CCA}}$y también puede ser negativo. La perspectiva de regresión del CCA también proporciona una forma de construir un modelo generativo probabilístico de variables latentes para el CCA, con variables ocultas no correlacionadas que representan la variabilidad compartida y no compartida. ^{[ 19 ]}

• Correlación canónica generalizada
• coeficiente RV
• Ángulos entre caras planas
• Análisis de componentes principales
• Análisis discriminante lineal
• Análisis de correlación canónica regularizada
• Descomposición en valores singulares
• Regresión de mínimos cuadrados parciales

• Análisis de correlación discriminante (DCA) ^{[ 20 ]} ( MATLAB )
• Hardoon, DR; Szedmak, S.; Shawe-Taylor, J. (2004). "Análisis de correlación canónica: una visión general con aplicación a métodos de aprendizaje". Neural Computation . 16 (12): 2639– 2664. CiteSeerX 10.1.1.14.6452 . doi : 10.1162/0899766042321814 . PMID 15516276 . S2CID 202473 .   
• Una nota sobre el análisis de correlación canónica ordinal de dos conjuntos de puntuaciones de clasificación (también proporciona un programa FORTRAN ) - en Journal of Quantitative Economics 7(2), 2009, pp.  173–199
• Análisis de correlación canónica con restricciones de representación: una hibridación de la correlación canónica y el análisis de componentes principales (también incluye un programa en FORTRAN ) - en Journal of Applied Economic Sciences 4(1), 2009, pp.  115–124