Producto de expertos

El producto de expertos (PoE) es una técnica de aprendizaje automático . Modela una distribución de probabilidad combinando la salida de varias distribuciones más simples. Fue propuesta por Geoffrey Hinton en 1999, ^{[ 1 ]} junto con un algoritmo para entrenar los parámetros de dicho sistema.

La idea central consiste en combinar varias distribuciones de probabilidad ("expertos") multiplicando sus funciones de densidad, lo que hace que la clasificación PoE sea similar a una operación "y". Esto permite que cada experto tome decisiones basándose en unas pocas dimensiones sin tener que abarcar la dimensionalidad completa de un problema. ${\displaystyle P(y|\{x_{k}\})={\frac {1}{Z}}\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})}$

dónde${\displaystyle f_{j}}$son densidades de expertos no normalizadas y${\displaystyle Z=\int {\mbox{d}}y\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})}$es una constante de normalización (véase función de partición (mecánica estadística) ).

Esto está relacionado con (pero es bastante diferente de) un modelo de mezcla , donde varias distribuciones de probabilidad${\displaystyle p_{j}(y|\{x_{j}\})}$se combinan mediante una operación "o", que es una suma ponderada de sus funciones de densidad: ${\displaystyle P(y|\{x_{k}\})=\sum _{j=1}^{M}\alpha _{j}p_{j}(y|\{x_{k}\}),}$ con${\displaystyle \sum _{j}\alpha _{j}=1.}$

Se puede entender que cada experto es responsable de hacer cumplir una restricción en un espacio de alta dimensión. Un dato se considera probable si y solo si ninguno de los expertos afirma que viola una restricción.

Para optimizarlo, propuso el algoritmo de minimización de divergencia contrastiva . ^{[ 2 ]} Este algoritmo se utiliza con mayor frecuencia para el aprendizaje de máquinas de Boltzmann restringidas .

• Mezcla de expertos
• Máquina de Boltzmann

• Producto de un artículo de expertos en Scholarpedia.
• Artículos de Geoffrey Hinton sobre PoE