Análisis semántico latente probabilístico

El análisis semántico latente probabilístico ( PLSA ), también conocido como indexación semántica latente probabilística ( PLSI , especialmente en el ámbito de la recuperación de información), es una técnica estadística para el análisis de datos bimodales y de coocurrencia. En efecto, permite obtener una representación de baja dimensionalidad de las variables observadas en función de su afinidad con ciertas variables ocultas, al igual que en el análisis semántico latente , del cual evolucionó el PLSA.

En comparación con el análisis semántico latente estándar , que se basa en el álgebra lineal y reduce el tamaño de las tablas de ocurrencia (generalmente mediante una descomposición en valores singulares ), el análisis semántico latente probabilístico se basa en una descomposición de mezcla derivada de un modelo de clase latente .

Considerando las observaciones en forma de coocurrencias${\displaystyle (w,d)}$En el caso de palabras y documentos, PLSA modela la probabilidad de cada coocurrencia como una mezcla de distribuciones multinomiales condicionalmente independientes :

${\displaystyle P(w,d)=\sum _{c}P(d)P(c|d)P(w|c)=P(d)\sum _{c}P(c|d)P(w|c)}$

con${\displaystyle c}$siendo el tema de las palabras. Tenga en cuenta que el número de temas es un hiperparámetro que debe elegirse de antemano y no se estima a partir de los datos. La primera formulación es la formulación simétrica , donde${\displaystyle w}$y${\displaystyle d}$ambos se generan a partir de la clase latente${\displaystyle c}$de forma similar (utilizando las probabilidades condicionales)${\displaystyle P(d|c)}$y${\displaystyle P(w|c)}$), mientras que la segunda formulación es la formulación asimétrica , donde, para cada documento${\displaystyle d}$, se elige una clase latente condicionalmente al documento según${\displaystyle P(c|d)}$y luego se genera una palabra a partir de esa clase según${\displaystyle P(w|c)}$Aunque en este ejemplo hemos utilizado palabras y documentos, la coocurrencia de cualquier par de variables discretas puede modelarse exactamente de la misma manera.

Entonces, el número de parámetros es igual a${\displaystyle cd+wc}$El número de parámetros crece linealmente con el número de documentos. Además, si bien PLSA es un modelo generativo de los documentos de la colección sobre la que se estima, no es un modelo generativo de documentos nuevos.

Sus parámetros se aprenden utilizando el algoritmo EM .

PLSA puede utilizarse en un entorno discriminativo, mediante núcleos de Fisher . ^{[ 1 ]}

PLSA tiene aplicaciones en recuperación y filtrado de información , procesamiento del lenguaje natural , aprendizaje automático a partir de texto, bioinformática , ^{[ 2 ]} y áreas relacionadas.

Se informa que el modelo de aspecto utilizado en el análisis semántico latente probabilístico tiene graves problemas de sobreajuste . ^{[ 3 ]}

• Extensiones jerárquicas:
  • Asimétrico: MASHA ("Análisis jerárquico asimétrico multinomial") ^{[ 4 ]}
  • Simétrico: HPLSA ("Análisis semántico latente probabilístico jerárquico") ^{[ 5 ]}

• Modelos generativos: Los siguientes modelos se han desarrollado para abordar una deficiencia frecuentemente criticada de PLSA, a saber, que no es un modelo generativo adecuado para documentos nuevos.
  • Asignación de Dirichlet latente : agrega una distribución a priori de Dirichlet a la distribución de temas por documento.
• Datos de orden superior: Si bien rara vez se aborda en la literatura científica, PLSA se extiende naturalmente a datos de orden superior (tres modos o más), es decir, puede modelar coocurrencias de tres o más variables. En la formulación simétrica anterior, esto se logra simplemente agregando distribuciones de probabilidad condicionales para estas variables adicionales. Este es el análogo probabilístico de la factorización tensorial no negativa.

Este es un ejemplo de un modelo de clases latentes (véanse las referencias allí citadas), y está relacionado ^{[ 6 ] [ 7 ]} con la factorización de matrices no negativas . La terminología actual fue acuñada en 1999 por Thomas Hofmann. ^{[ 8 ]}

• Procesamiento de términos compuestos
• Asignación de Pachinko
• modelo de espacio vectorial

• Análisis semántico latente probabilístico
• Demo completa de PLSA en C#