Análisis discriminante lineal

El análisis discriminante lineal ( LDA ), el análisis discriminante normal ( NDA ), el análisis de variables canónicas ( CVA ) o el análisis de función discriminante son una generalización del discriminante lineal de Fisher , un método utilizado en estadística y otros campos para encontrar una combinación lineal de características que caracteriza o separa dos o más clases de objetos o eventos. La combinación resultante puede utilizarse como clasificador lineal o, más comúnmente, para la reducción de dimensionalidad antes de la clasificación posterior .

LDA está estrechamente relacionado con el análisis de varianza (ANOVA) y el análisis de regresión , que también intentan expresar una variable dependiente como una combinación lineal de otras características o mediciones. ^{[ 2 ] [ 3 ]} Sin embargo, ANOVA utiliza variables independientes categóricas y una variable dependiente continua , mientras que el análisis discriminante tiene variables independientes continuas y una variable dependiente categórica ( es decir, la etiqueta de clase). ^{[ 4 ]} La regresión logística y la regresión probit son más similares a LDA que ANOVA, ya que también explican una variable categórica por los valores de variables independientes continuas. Estos otros métodos son preferibles en aplicaciones donde no es razonable suponer que las variables independientes tienen una distribución normal , que es una suposición fundamental del método LDA.

LDA también está estrechamente relacionado con el análisis de componentes principales (PCA) y el análisis factorial, ya que ambos buscan combinaciones lineales de variables que mejor expliquen los datos. ^{[ 5 ]} LDA intenta explícitamente modelar la diferencia entre las clases de datos. PCA, en cambio, no toma en cuenta ninguna diferencia de clase, y el análisis factorial construye las combinaciones de características basándose en similitudes en lugar de diferencias. El análisis discriminante también se diferencia del análisis factorial en que no es una técnica de interdependencia: debe hacerse una distinción entre variables independientes y variables dependientes (también llamadas variables criterio).

El análisis discriminante lineal (LDA) funciona cuando las mediciones realizadas sobre las variables independientes para cada observación son cantidades continuas. Cuando se trata de variables independientes categóricas, la técnica equivalente es el análisis de correspondencia discriminante. ^{[ 6 ] [ 7 ]}

El análisis discriminante se utiliza cuando los grupos se conocen a priori (a diferencia del análisis de conglomerados ). Cada caso debe tener una puntuación en una o más medidas predictoras cuantitativas y una puntuación en una medida de grupo. ^{[ 8 ]} En términos sencillos, el análisis de función discriminante es una clasificación: el acto de distribuir elementos en grupos, clases o categorías del mismo tipo.

El análisis discriminante dicotómico original fue desarrollado por Sir Ronald Fisher en 1936. ^{[ 9 ]} Es diferente de un ANOVA o MANOVA , que se utiliza para predecir una (ANOVA) o varias (MANOVA) variables dependientes continuas a partir de una o más variables categóricas independientes. El análisis de la función discriminante es útil para determinar si un conjunto de variables es eficaz para predecir la pertenencia a una categoría. ^{[ 10 ]}

Consideremos un conjunto de observaciones${\displaystyle {\vec {x}}}$(también llamados características, atributos, variables o mediciones) para cada muestra de un objeto o evento con una clase conocida${\displaystyle y}$Este conjunto de muestras se denomina conjunto de entrenamiento en un contexto de aprendizaje supervisado . El problema de clasificación consiste entonces en encontrar un buen predictor para la clase${\displaystyle y}$de cualquier muestra de la misma distribución (no necesariamente del conjunto de entrenamiento) dada solo una observación${\displaystyle {\vec {x}}}$. ^{[ 11 ] : 338}

LDA aborda el problema asumiendo que las funciones de densidad de probabilidad condicional${\displaystyle p({\vec {x}}|y=0)}$y${\displaystyle p({\vec {x}}|y=1)}$son ambas distribuciones normales con media y parámetros de covarianza${\displaystyle \left({\vec {\mu }}_{0},\Sigma _{0}\right)}$y${\displaystyle \left({\vec {\mu }}_{1},\Sigma _{1}\right)}$, respectivamente. Bajo este supuesto, la solución óptima de Bayes consiste en predecir que los puntos pertenecen a la segunda clase si el logaritmo de las razones de verosimilitud es mayor que un umbral T, de modo que:

${\displaystyle {\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{0})^{\mathrm {T} }\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+{\frac {1}{2}}\ln |\Sigma _{0}|-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{1})^{\mathrm {T} }\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-{\frac {1}{2}}\ln |\Sigma _{1}|\ >\ T}$

Sin hacer suposiciones adicionales, el clasificador resultante se denomina análisis discriminante cuadrático (QDA).

En cambio, LDA hace la suposición adicional simplificadora de homocedasticidad ( es decir, que las covarianzas de clase son idénticas, por lo que${\displaystyle \Sigma _{0}=\Sigma _{1}=\Sigma }$) y que las covarianzas tienen rango completo. En este caso, varios términos se cancelan:

${\displaystyle {\vec {x}}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {x}}}$

${\displaystyle {\vec {x}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}={{\vec {\mu }}_{i}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {x}}}$ porque ambos lados son escalares y se transponen uno al otro (${\displaystyle \Sigma _{i}}$es hermitiano )

y el criterio de decisión anterior se convierte en un umbral en el producto escalar.

${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {x}}>c}$

para alguna constante umbral c , donde

${\displaystyle {\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

${\displaystyle c={\frac {1}{2}}\,{\vec {w}}^{\mathrm {T} }({\vec {\mu }}_{1}+{\vec {\mu }}_{0})}$

Esto significa que el criterio de una entrada${\displaystyle {\vec {x}}}$estar en una clase${\displaystyle y}$es puramente una función de esta combinación lineal de las observaciones conocidas.

A menudo resulta útil ver esta conclusión en términos geométricos: el criterio de una entrada${\displaystyle {\vec {x}}}$estar en una clase${\displaystyle y}$es puramente una función de proyección de un punto en un espacio multidimensional${\displaystyle {\vec {x}}}$sobre vector${\displaystyle {\vec {w}}}$(por lo tanto, solo consideramos su dirección). En otras palabras, la observación pertenece a${\displaystyle y}$si corresponde${\displaystyle {\vec {x}}}$está ubicado en cierto lado de un hiperplano perpendicular a${\displaystyle {\vec {w}}}$La ubicación del plano está definida por el umbral.${\displaystyle c}$.

Los supuestos del análisis discriminante son los mismos que los del MANOVA. El análisis es bastante sensible a los valores atípicos y el tamaño del grupo más pequeño debe ser mayor que el número de variables predictoras. ^{[ 8 ]}

• Normalidad multivariada : Las variables independientes son normales para cada nivel de la variable de agrupación. ^{[ 10 ] [ 8 ]}
• Homogeneidad de varianza/covarianza ( homocedasticidad ): Las varianzas entre las variables de grupo son las mismas en todos los niveles de los predictores. Se puede comprobar con la estadística M de Box . ^{[ 10 ]} Sin embargo, se ha sugerido que se utilice el análisis discriminante lineal cuando las covarianzas son iguales, y que se puede utilizar el análisis discriminante cuadrático cuando las covarianzas no son iguales. ^{[ 8 ]}
• Independencia : Se supone que los participantes son seleccionados aleatoriamente y que la puntuación de un participante en una variable es independiente de las puntuaciones de esa variable para todos los demás participantes. ^{[ 10 ] [ 8 ]}

Se ha sugerido que el análisis discriminante es relativamente robusto ante pequeñas violaciones de estos supuestos, ^{[ 12 ]} y también se ha demostrado que el análisis discriminante puede seguir siendo fiable cuando se utilizan variables dicotómicas (donde a menudo se viola la normalidad multivariante). ^{[ 13 ]}

El análisis discriminante funciona creando una o más combinaciones lineales de predictores, creando una nueva variable latente para cada función. Estas funciones se denominan funciones discriminantes. El número de funciones posibles es${\displaystyle N_{g}-1}$dónde${\displaystyle N_{g}}$= número de grupos, o${\displaystyle p}$(el número de predictores), el que sea menor. La primera función creada maximiza las diferencias entre grupos en dicha función. La segunda función maximiza las diferencias en esa función, pero tampoco debe estar correlacionada con la función anterior. Esto continúa con las funciones subsiguientes, con el requisito de que la nueva función no esté correlacionada con ninguna de las funciones anteriores.

Dado el grupo${\displaystyle j}$, con ${\displaystyle \mathbb {R} _{j}}$ conjuntos de espacio muestral, existe una regla discriminante tal que si${\displaystyle x\in \mathbb {R} _{j}}$, entonces${\displaystyle x\in j}$. El análisis discriminante entonces encuentra regiones “buenas” de ${\displaystyle \mathbb {R} _{j}}$para minimizar el error de clasificación, lo que lleva a un alto porcentaje de clasificaciones correctas en la tabla de clasificación. ^{[ 14 ]}

A cada función se le asigna una puntuación discriminante para determinar qué tan bien predice la ubicación en el grupo.

• Coeficientes de correlación de estructura: La correlación entre cada predictor y la puntuación discriminante de cada función. Esta es una correlación de orden cero (es decir, no corregida para los otros predictores). ^{[ 15 ]}
• Coeficientes estandarizados: Peso de cada predictor en la combinación lineal que constituye la función discriminante. Al igual que en una ecuación de regresión, estos coeficientes son parciales (es decir, corregidos en función de los demás predictores). Indican la contribución única de cada predictor a la predicción de la asignación de grupo.
• Funciones en los centroides de grupo: Se proporcionan las puntuaciones discriminantes medias para cada variable de agrupación para cada función. Cuanto mayor sea la diferencia entre las medias, menor será el error de clasificación.

• Máxima probabilidad : Asigna${\displaystyle x}$al grupo que maximiza la densidad de población (grupo). ^{[ 16 ]}
• Regla discriminante de Bayes: Asigna${\displaystyle x}$al grupo que maximiza${\displaystyle \pi _{i}f_{i}(x)}$, donde π _i representa la probabilidad previa de esa clasificación, y${\displaystyle f_{i}(x)}$representa la densidad de población. ^{[ 16 ]}
• Regla discriminante lineal de Fisher : Maximiza la razón entre SS _entre y SS _{dentro de} , y encuentra una combinación lineal de los predictores para predecir el grupo. ^{[ 16 ]}

Un valor propio en el análisis discriminante es la raíz característica de cada función. Es una indicación de qué tan bien esa función diferencia los grupos, donde cuanto mayor sea el valor propio, mejor diferenciará la función. ^{[ 8 ]} Sin embargo, esto debe interpretarse con precaución, ya que los valores propios no tienen límite superior. ^{[ 10 ] [ 8 ]} El valor propio puede verse como una razón de SS _entre y SS _dentro como en ANOVA cuando la variable dependiente es la función discriminante, y los grupos son los niveles de la VI . ^{[ 10 ]} Esto significa que el valor propio más grande está asociado con la primera función, el segundo más grande con la segunda, etc.

Algunos sugieren el uso de valores propios como medidas del tamaño del efecto ; sin embargo, esto generalmente no cuenta con respaldo. ^{[ 10 ]} En cambio, la correlación canónica es la medida preferida del tamaño del efecto. Es similar al valor propio, pero es la raíz cuadrada de la razón de SS _entre y SS _total . Es la correlación entre los grupos y la función. ^{[ 10 ]} Otra medida popular del tamaño del efecto es el porcentaje de varianza para cada función. Esto se calcula mediante:${\displaystyle \left({\frac {\lambda _{x}}{\sum _{i}\lambda _{i}}}\right)\times 100}$dónde${\displaystyle \lambda _{x}}$es el valor propio de la función y${\displaystyle \sum _{i}\lambda _{i}}$es la suma de todos los valores propios. Esto nos indica cuán fuerte es la predicción para esa función en particular en comparación con las demás. ^{[ 10 ]} El porcentaje de clasificaciones correctas también puede analizarse como un tamaño del efecto. El valor kappa puede describir esto corrigiendo el acuerdo por azar. ^{[ 10 ]} Kappa normaliza en todas las categorías en lugar de estar sesgado por clases con un rendimiento significativamente bueno o malo. ^{[ 17 ]}

El análisis discriminante canónico (ADC) encuentra ejes ( k  −  1 coordenadas canónicas , donde k es el número de clases) que mejor separan las categorías. Estas funciones lineales no están correlacionadas y definen, en efecto, un espacio óptimo de k  −  1 dimensiones a través de la nube de datos n -dimensional que mejor separa (las proyecciones en ese espacio de) los k grupos. Consulte “ LDA multiclase ” para obtener más detalles a continuación.

Debido a que LDA utiliza variables canónicas, inicialmente se la conocía a menudo como el "método de variables canónicas" ^{[ 18 ]} o análisis de variables canónicas (CVA). ^{[ 19 ]}

Los términos discriminante lineal de Fisher y LDA se utilizan a menudo indistintamente, aunque el artículo original de Fisher ^{[ 2 ]} describe en realidad un discriminante ligeramente diferente, que no hace algunos de los supuestos de LDA, como clases distribuidas normalmente o covarianzas de clase iguales .

Supongamos que dos clases de observaciones tienen medias${\displaystyle {\vec {\mu }}_{0},{\vec {\mu }}_{1}}$y covarianzas${\displaystyle \Sigma _{0},\Sigma _{1}}$Luego, la combinación lineal de características${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {x}}}$tendrá medios${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {\mu }}_{i}}$y variaciones${\displaystyle {\vec {w}}^{\mathrm {T} }\Sigma _{i}{\vec {w}}}$para${\displaystyle i=0,1}$Fisher definió la separación entre estas dos distribuciones como la razón entre la varianza entre las clases y la varianza dentro de las clases:

${\displaystyle S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{\mathrm {T} }\Sigma _{1}{\vec {w}}+{\vec {w}}^{\mathrm {T} }\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{\mathrm {T} }(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}}$

Esta medida es, en cierto sentido, una medida de la relación señal-ruido para el etiquetado de clases. Se puede demostrar que la separación máxima ocurre cuando

${\displaystyle {\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

Cuando se cumplen los supuestos de LDA, la ecuación anterior es equivalente a LDA.

Asegúrese de tener en cuenta que el vector${\displaystyle {\vec {w}}}$es la normal al hiperplano discriminante . Como ejemplo, en un problema bidimensional, la línea que mejor divide a los dos grupos es perpendicular a${\displaystyle {\vec {w}}}$.

Generalmente, los puntos de datos que se van a discriminar se proyectan sobre${\displaystyle {\vec {w}}}$; luego se elige el umbral que mejor separa los datos a partir del análisis de la distribución unidimensional. No existe una regla general para el umbral. Sin embargo, si las proyecciones de los puntos de ambas clases exhiben aproximadamente las mismas distribuciones, una buena opción sería el hiperplano entre las proyecciones de las dos medias,${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{0}}$y${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{1}}$En este caso, el parámetro c en la condición de umbral${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$se puede encontrar explícitamente:

${\displaystyle c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {\mu }}_{0}}$.

El método de Otsu está relacionado con el discriminante lineal de Fisher y fue creado para binarizar el histograma de píxeles en una imagen en escala de grises, seleccionando de forma óptima el umbral blanco/negro que minimiza la varianza intraclase y maximiza la varianza interclase dentro/entre las escalas de grises asignadas a las clases de píxeles blancos y negros.

En el caso de que haya más de dos clases, el análisis utilizado en la derivación del discriminante de Fisher puede extenderse para encontrar un subespacio que parezca contener toda la variabilidad de clase. ^{[ 20 ]} Esta generalización se debe a CR Rao . ^{[ 21 ]} Supongamos que cada una de las C clases tiene una media${\displaystyle \mu _{i}}$y la misma covarianza${\displaystyle \Sigma }$Entonces, la dispersión entre la variabilidad de las clases puede definirse mediante la covarianza muestral de las medias de las clases.

${\displaystyle \Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{\mathrm {T} }}$

dónde${\displaystyle \mu }$es la media de las medias de clase. La separación de clases en una dirección${\displaystyle {\vec {w}}}$en este caso será dado por

${\displaystyle S={\frac {{\vec {w}}^{\mathrm {T} }\Sigma _{b}{\vec {w}}}{{\vec {w}}^{\mathrm {T} }\Sigma {\vec {w}}}}}$

Esto significa que cuando${\displaystyle {\vec {w}}}$es un vector propio de${\displaystyle \Sigma ^{-1}\Sigma _{b}}$La separación será igual al valor propio correspondiente .

Si${\displaystyle \Sigma ^{-1}\Sigma _{b}}$es diagonalizable, la variabilidad entre características estará contenida en el subespacio generado por los vectores propios correspondientes a los C  −  1 valores propios más grandes (ya que${\displaystyle \Sigma _{b}}$tiene un rango C  −  1 como máximo). Estos autovectores se utilizan principalmente en la reducción de características, como en PCA. Los autovectores correspondientes a los autovalores más pequeños tienden a ser muy sensibles a la elección exacta de los datos de entrenamiento, y a menudo es necesario utilizar la regularización descrita en la siguiente sección.

Si se requiere clasificación, en lugar de reducción de dimensionalidad , existen varias técnicas alternativas. Por ejemplo, las clases pueden dividirse y utilizarse un discriminante de Fisher estándar o LDA para clasificar cada partición. Un ejemplo común es el método "uno contra el resto", donde los puntos de una clase se agrupan y el resto se agrupan, y luego se aplica LDA. Esto dará como resultado C clasificadores, cuyos resultados se combinan. Otro método común es la clasificación por pares, donde se crea un nuevo clasificador para cada par de clases (obteniendo un total de C ( C  -  1)/2 clasificadores), y los clasificadores individuales se combinan para producir una clasificación final.

La implementación típica de la técnica LDA requiere que todas las muestras estén disponibles de antemano. Sin embargo, hay situaciones en las que el conjunto de datos completo no está disponible y los datos de entrada se observan como un flujo. En este caso, es deseable que la extracción de características LDA tenga la capacidad de actualizar las características LDA calculadas observando las nuevas muestras sin ejecutar el algoritmo en todo el conjunto de datos. Por ejemplo, en muchas aplicaciones en tiempo real, como la robótica móvil o el reconocimiento facial en línea, es importante actualizar las características LDA extraídas tan pronto como haya nuevas observaciones disponibles. Una técnica de extracción de características LDA que puede actualizar las características LDA simplemente observando nuevas muestras es un algoritmo LDA incremental , y esta idea se ha estudiado ampliamente durante las últimas dos décadas. ^{[ 22 ]} Chatterjee y Roychowdhury propusieron un algoritmo LDA incremental autoorganizado para actualizar las características LDA. ^{[ 23 ]} En otro trabajo, Demir y Ozmehmet propusieron algoritmos de aprendizaje local en línea para actualizar las características LDA incrementalmente utilizando corrección de errores y reglas de aprendizaje hebbianas. ^{[ 24 ]} Posteriormente, Aliyari et al. derivaron algoritmos incrementales rápidos para actualizar las características LDA observando las nuevas muestras. ^{[ 22 ]}

En la práctica, las medias y covarianzas de las clases son desconocidas. Sin embargo, pueden estimarse a partir del conjunto de entrenamiento. En las ecuaciones anteriores, se puede utilizar la estimación de máxima verosimilitud o la de máxima probabilidad a posteriori en lugar del valor exacto. Si bien las estimaciones de la covarianza pueden considerarse óptimas en cierto sentido, esto no implica que el discriminante resultante, obtenido al sustituir estos valores, sea óptimo en absoluto, incluso si se asume que las clases siguen una distribución normal.

Otra complicación al aplicar LDA y el discriminante de Fisher a datos reales ocurre cuando el número de mediciones de cada muestra (es decir, la dimensionalidad de cada vector de datos) excede el número de muestras en cada clase. ^{[ 5 ]} En este caso, las estimaciones de covarianza no tienen rango completo y, por lo tanto, no se pueden invertir. Hay varias maneras de abordar esto. Una es usar una pseudoinversa en lugar de la inversa de matriz habitual en las fórmulas anteriores. Sin embargo, se puede lograr una mejor estabilidad numérica proyectando primero el problema en el subespacio generado por${\displaystyle \Sigma _{b}}$. ^{[ 25 ]} Otra estrategia para lidiar con tamaños de muestra pequeños es utilizar un estimador de contracción de la matriz de covarianza, que puede expresarse matemáticamente como

${\displaystyle \Sigma =(1-\lambda )\Sigma +\lambda I\,}$

dónde${\displaystyle I}$es la matriz identidad, y${\displaystyle \lambda }$es la intensidad de contracción o parámetro de regularización . Esto conduce al marco del análisis discriminante regularizado ^{[ 26 ]} o análisis discriminante de contracción. ^{[ 27 ]}

Además, en muchos casos prácticos, los discriminantes lineales no son adecuados. El análisis discriminante lineal (LDA) y el discriminante de Fisher pueden extenderse para su uso en la clasificación no lineal mediante el método del kernel . En este método, las observaciones originales se transforman en un espacio no lineal de mayor dimensión. La clasificación lineal en este espacio no lineal es entonces equivalente a la clasificación no lineal en el espacio original. El ejemplo más común es el discriminante de Fisher con kernel .

LDA se puede generalizar al análisis discriminante múltiple , donde c se convierte en una variable categórica con N estados posibles, en lugar de solo dos. Análogamente, si las densidades condicionales de clase${\displaystyle p({\vec {x}}\mid c=i)}$son normales con covarianzas compartidas, el estadístico suficiente para${\displaystyle P(c\mid {\vec {x}})}$son los valores de N proyecciones, que son el subespacio generado por las N medias, proyectadas afínmente por la matriz de covarianza inversa. Estas proyecciones se pueden obtener resolviendo un problema generalizado de valores propios , donde el numerador es la matriz de covarianza formada al tratar las medias como muestras, y el denominador es la matriz de covarianza compartida. Consulte “ LDA multiclase ” más arriba para obtener más detalles.

Además de los ejemplos que se muestran a continuación, LDA se aplica en el posicionamiento y la gestión de productos .

El análisis de función discriminante es muy similar a la regresión logística , y ambos pueden usarse para responder las mismas preguntas de investigación. ^{[ 10 ]} La regresión logística no tiene tantas suposiciones y restricciones como el análisis discriminante. Sin embargo, cuando se cumplen las suposiciones del análisis discriminante, este es más potente que la regresión logística. ^{[ 36 ]} A diferencia de la regresión logística, el análisis discriminante puede usarse con tamaños de muestra pequeños. Se ha demostrado que cuando los tamaños de muestra son iguales y se cumple la homogeneidad de varianza/covarianza, el análisis discriminante es más preciso. ^{[ 8 ]} A pesar de todas estas ventajas, la regresión logística se ha convertido en la opción común, ya que rara vez se cumplen las suposiciones del análisis discriminante. ^{[ 9 ] [ 8 ]}

Las anomalías geométricas en dimensiones superiores conducen a la conocida maldición de la dimensionalidad . Sin embargo, la utilización adecuada de los fenómenos de concentración de medidas puede facilitar el cálculo. ^{[ 37 ]} Un caso importante de estos fenómenos de bendición de la dimensionalidad fue destacado por Donoho y Tanner: si una muestra es esencialmente de alta dimensión, entonces cada punto puede separarse del resto de la muestra mediante una desigualdad lineal, con alta probabilidad, incluso para muestras exponencialmente grandes. ^{[ 38 ]} Estas desigualdades lineales pueden seleccionarse en la forma estándar (de Fisher) del discriminante lineal para una rica familia de distribuciones de probabilidad. ^{[ 39 ]} En particular, tales teoremas se demuestran para distribuciones log-cóncavas, incluida la distribución normal multidimensional (la demostración se basa en las desigualdades de concentración para medidas log-cóncavas ^{[ 40 ]} ) y para medidas de producto en un cubo multidimensional (esto se demuestra utilizando la desigualdad de concentración de Talagrand para espacios de probabilidad de producto). La separabilidad de datos mediante discriminantes lineales clásicos simplifica el problema de la corrección de errores para sistemas de inteligencia artificial en alta dimensión. ^{[ 41 ]}

• minería de datos
• Aprendizaje mediante árboles de decisión
• Análisis factorial
• Análisis discriminante de Fisher con kernel
• Logit (para regresión logística )
• Regresión lineal
• Análisis discriminante múltiple
• Escalamiento multidimensional
• Reconocimiento de patrones
• Regresión de preferencias
• Clasificador cuadrático
• Clasificación estadística

• Duda, RO; Hart, PE; Stork, DH (2000). Clasificación de patrones (2.ª  ed.). Wiley Interscience. ISBN 978-0-471-05669-0. MR 1802993 . 
• Hilbe, JM (2009). Modelos de regresión logística . Chapman & Hall/CRC Press. ISBN 978-1-4200-7575-5.
• Mika, S.; et  al. (1999). "Análisis discriminante de Fisher con núcleos". Redes neuronales para el procesamiento de señales IX: Actas del taller de la Sociedad de Procesamiento de Señales del IEEE de 1999 (Cat. No. 98TH8468) . págs. 41–48 . CiteSeerX 10.1.1.35.9904 . doi : 10.1109/NNSP.1999.788121 . ISBN   978-0-7803-5673-3. S2CID 8473401 . 
• McFarland, H. Richard; Donald, St. P. Richards (2001). "Probabilidades exactas de clasificación errónea para funciones discriminantes cuadráticas normales de sustitución. I. El caso de medias iguales" . Journal of Multivariate Analysis . 77 (1): 21– 53. doi : 10.1006/jmva.2000.1924 .
• McFarland, H. Richard; Donald, St. P. Richards (2002). "Probabilidades exactas de clasificación errónea para funciones discriminantes cuadráticas normales de sustitución. II. El caso heterogéneo" . Journal of Multivariate Analysis . 82 (2): 299– 330. doi : 10.1006/jmva.2001.2034 .
• Haghighat, M.; Abdel-Mottaleb, M.; Alhalabi, W. (2016). "Análisis de correlación discriminante: fusión de características en tiempo real para el reconocimiento biométrico multimodal" . IEEE Transactions on Information Forensics and Security . 11 (9): 1984– 1996. doi : 10.1109/TIFS.2016.2569061 . S2CID 15624506 . 

• Análisis de correlación discriminante (ACD) del artículo de Haghighat (ver más arriba)
• ALGLIB contiene una implementación de LDA de código abierto en C# / C++ / Pascal / VBA.
• LDA en Python - Implementación de LDA en Python
• Tutorial de LDA usando MS Excel
• Estadística biomédica. Análisis discriminante.
• StatQuest: Análisis discriminante lineal (LDA) explicado claramente en YouTube.
• Apuntes del curso: Análisis de funciones discriminantes, por G. David Garson, Universidad Estatal de Carolina del Norte.
• Tutorial de análisis discriminante en Microsoft Excel por Kardi Teknomo
• Apuntes del curso, Análisis de funciones discriminantes por David W. Stockburger, Universidad Estatal de Missouri. Archivado el 3 de marzo de 2016 en Wayback Machine.
• Análisis de función discriminante (AD) por John Poulsen y Aaron French, Universidad Estatal de San Francisco. Archivado el 15 de diciembre de 2011 en Wayback Machine.