Gradiente de conocimiento optimista

En primer lugar, los elementos presentan distintos niveles de dificultad para calcular la etiqueta. En un ejemplo anterior, algunas imágenes eran fáciles de clasificar. En este caso, normalmente se observarían etiquetas muy consistentes por parte del público. Sin embargo, si algunas imágenes son ambiguas, las personas podrían discrepar entre sí, lo que resultaría en etiquetas muy inconsistentes. Por lo tanto, podríamos destinar más recursos a esta tarea ambigua.

Otra dificultad frecuente es que los trabajadores no son perfectos; a veces, no son responsables y simplemente proporcionan etiquetas aleatorias . Por lo tanto, obviamente, no invertiríamos nuestro presupuesto en trabajadores poco fiables. El problema radica en que, al principio, desconocemos por completo tanto la complejidad de las imágenes como la fiabilidad de los trabajadores. Solo podemos estimarlas durante el proceso. En consecuencia, nos vemos obligados a explorar y explotar, y nuestro objetivo es establecer una política razonable para invertir el dinero de la manera correcta: maximizar la precisión general de las etiquetas finales inferidas.

Antes de presentar el marco bayesiano, el artículo utiliza un ejemplo para explicar por qué elegimos el enfoque bayesiano en lugar del enfoque de frecuencia, de manera que podamos proponer una distribución posterior de la distribución a priori en la etiqueta suave.${\displaystyle \theta _{i}}$. Suponemos que cada${\displaystyle \theta _{i}}$se deriva de una distribución Beta previa conocida:

${\displaystyle \theta _{i}\sim \mathrm {Beta} (a_{i}^{o},b_{i}^{o})}$

Y la matriz:

${\displaystyle s^{o}=\left\langle (a_{i}^{o},b_{i}^{o})\right\rangle _{i=1}^{k}\in {\textbf {R}}^{k\times 2}}$

Entonces sabemos que el conjugado de Bernoulli de beta, entonces una vez que obtenemos una nueva etiqueta para el elemento i, vamos a actualizar la distribución posterior, la distribución beta de la siguiente manera:

${\displaystyle \theta _{i}\sim \mathrm {Beta} (a_{i}^{t},b_{i}^{t})}$

${\displaystyle y_{i}\mid \theta _{i}\sim \mathrm {Bernoulli} (\theta _{i})}$

${\displaystyle \theta _{i}\mid y_{i}=1\sim \mathrm {Beta} (a_{i}^{t}+1,b_{i}^{t})}$

${\displaystyle \theta _{i}\mid y_{i}=-1\sim \mathrm {Beta} (a_{i}^{t}+1,b_{i}^{t})}$

Dependiendo de la etiqueta, es positivo o negativo.

Aquí está todo el procedimiento a alto nivel, tenemos la etapa T,${\displaystyle 0\leq t\leq T-1}$. Y en la etapa actual observamos la matriz S, que resume la información de distribución posterior para todos los${\displaystyle \theta _{i}}$

${\displaystyle s^{t}=\left\langle (a_{i}^{t},b_{i}^{t})\right\rangle _{i=1}^{k}\in {\textbf {R}}^{k\times 2}}$

Vamos a tomar una decisión, elegir el siguiente elemento para etiquetar.${\displaystyle i_{t}}$,${\displaystyle i_{t}\in \{1,2,\ldots ,k\}}$.

Y dependiendo de si la etiqueta es positiva o negativa, agregamos una matriz para obtener una etiqueta:

${\displaystyle \theta _{i}\sim \mathrm {Beta} (a_{i}^{t},b_{i}^{t})}$

${\displaystyle y_{i}\mid \theta _{i}\sim \mathrm {Bernoulli} (\theta _{i})}$

${\displaystyle \theta _{i}\mid y_{i}=1\sim \mathrm {Beta} (a_{i}^{t}+1,b_{i}^{t})}$

${\displaystyle \theta _{i}\mid y_{i}=-1\sim \mathrm {Beta} (a_{i}^{t}+1,b_{i}^{t})}$

Ante todo, este es el marco general.

Cuando se recopilan las etiquetas t , podemos hacer una inferencia sobre el conjunto positivo H _t basándonos en la distribución posterior dada por S _t

${\displaystyle {\begin{aligned}H_{t}&=\operatorname {argmax} \limits _{H\subset \{1,2,\ldots ,k\}}E\left(\sum _{i=1}^{k}({\textbf {1}}(i\in H){\textbf {1}}(i\in H^{\star })+{\textbf {1}}(i\notin H){\textbf {1}}{(i\notin H^{\star })})\mid S^{\star }\right)\\&=\operatorname {argmax} \limits _{H\subset \{1,2,\ldots ,k\}}\sum _{i=1}^{k}({\textbf {1}}(i\in H)\Pr(i\in H^{\star }\mid S^{t})+{\textbf {1}}(i\notin H)\Pr(i\notin H^{\star }\mid S^{t}))\\&=\{i:\Pr(i\in H^{\star }\mid S^{t})\geq 0.5\}\end{aligned}}}$

Entonces, aquí se convierte en el problema de selección de Bernoulli, simplemente tomamos para observar la probabilidad de ser positivo o ser negativo condicionalmente.${\displaystyle S_{t}}$para ver si es mayor que 0.5 o no, si es mayor que 0.5, entonces probamos que este elemento está en el conjunto positivo actual inferido${\displaystyle H_{t}}$Este es un formulario de costos para la solución óptima actual.${\displaystyle H_{t}}$basado en la información en${\displaystyle S_{t}}$.

Después de saber cuál es la solución óptima, el documento muestra cuál es el valor óptimo. Plug${\displaystyle t}$en la función óptima,

${\displaystyle h(x)=\max(x,1-x)}$

Esta función es simplemente una función única que elige la mayor entre la probabilidad condicional de ser positivo y ser negativo. Una vez que obtenemos una etiqueta más para el elemento i, tomamos la diferencia entre este valor, antes y después de obtener la nueva etiqueta, podemos ver que esta probabilidad condicional se puede simplificar de la siguiente manera:

${\displaystyle {\begin{aligned}R(s^{t},i_{t},y_{i_{t}})&=\sum _{i=1}^{k}h(\Pr {(i\in H^{\star }\mid s^{t+1})})-\sum _{i=1}^{k}h(\Pr(i\in H^{\star }\mid s^{t}))\\&=\sum _{i=1}^{k}h(\Pr {(a_{i}^{t+1,b_{i}^{t+1}})})-\sum _{i=1}^{k}h(\Pr(a_{i}^{t},b_{i}^{t})).\end{aligned}}}$

El elemento positivo es positivo solo depende de la beta posterior, por lo tanto, si solo la función del parámetro de la función de distribución beta son a y b , como

${\displaystyle h(\Pr(a_{i_{t}}^{t+1},b_{i_{t}}^{t+1}))-h(\Pr(a_{i_{t}}^{t},b_{i_{t}}^{t}))}$

Una etiqueta más para este elemento en particular, cambiamos dos veces la función posterior, por lo que todos estos elementos pueden cancelarse excepto 1, por lo que este es el cambio para la precisión general y lo definimos como recompensa por etapas: mejora la precisión de la inferencia en una muestra más. Por supuesto, esta etiqueta tiene dos valores positivos, tenemos una etiqueta positiva o una etiqueta negativa, tomamos el promedio de estas dos, obtenemos la recompensa esperada. Simplemente elegimos el elemento para etiquetar de tal manera que la recompensa esperada se maximice usando el Gradiente de Conocimiento :

${\displaystyle {\begin{aligned}i_{t}&=\operatorname {argmax} \limits _{i\in \{1,2,\ldots ,k\}}E(R(s^{t},i,y_{i})\mid s^{t})\\&=\operatorname {argmax} \limits _{i\in \{1,2,\ldots ,k\}}\left({\frac {a_{i}^{t}}{a_{i}^{t}+b_{i}^{t}}}R(s^{t},i,1)+{\frac {b_{i}^{t}}{a_{i}^{t}+b_{i}^{t}}}R(s^{t},i,-1)\right)\end{aligned}}}$

Son varios elementos, díganos cómo resolvemos los empates. Si resolvemos el empate de forma determinista, lo que significa que elegimos el índice más pequeño, vamos a tener un problema porque esto no es consistente, lo que significa que la etapa positiva${\displaystyle H_{t}}$no converge a la etapa verdaderamente positiva${\displaystyle H^{*}}$.

Entonces también podemos intentar romper los empates aleatoriamente, funciona, sin embargo, veremos que el rendimiento es casi como el muestreo uniforme, es la mejor recompensa. La política del escritor es un poco más codiciosa, en lugar de elegir el promedio en la recompensa de una etapa, en realidad podemos calcular el mayor, el máximo de las dos recompensas posibles de la etapa, por lo que Gradiente de conocimiento optimista :

${\displaystyle i_{t}=\operatorname {argmax} \limits _{i\in \{1,\ldots ,k\}}(R^{+}(S^{t},i))=\max(R(S^{t},i,1),R(S^{t},i,-1))}$

Y sabemos que bajo un gradiente de conocimiento optimista, la precisión de la inferencia final converge al 100%. Lo anterior se basa en que cada trabajador es perfecto; sin embargo, en la práctica, los trabajadores no siempre son responsables. Entonces, si en trabajadores imperfectos, asumimos K elementos,${\displaystyle 1\leq i\leq k}$.

${\displaystyle \theta _{i}\in (0,1)\sim \mathrm {Bet} a(a_{i}^{o},b_{i}^{o})}$

La probabilidad del artículo${\displaystyle i}$ser etiquetado como positivo por un trabajador perfecto. Trabajadores M,${\displaystyle 1\leq j\leq M}$,${\displaystyle \rho _{j}\in (0,1)\sim \mathrm {Beta} (c_{j}^{o},d_{j}^{o})}$ La probabilidad de trabajador${\displaystyle j}$otorgar la misma etiqueta que a un trabajador perfecto. Distribución de la etiqueta${\displaystyle Z_{ij}}$del trabajador${\displaystyle j}$al artículo${\displaystyle i}$:

${\displaystyle \Pr(Z_{ij}=1\mid \theta _{i},\rho _{j})=\Pr(Z_{ij}=1\mid Y_{i}=1)\Pr(Y_{i}=1)+\Pr(Z_{ij}=1\mid Y_{i}=-1)\Pr(Y_{i}=-1)=\rho _{j}\theta _{i}t(1-\rho _{j})(1-\theta _{i})}$

Y el espacio de acción es ese

${\displaystyle \Pr(Z_{ij}=1\mid \theta _{i},\rho _{j})=Pr(Z_{ij}=1\mid Y_{i}=1)\Pr(Y_{i}=1)+\Pr(Z_{ij}=1\mid Y_{i}=-1)\Pr(Y_{i}=-1)=\rho _{j}\theta _{i}t(1-\rho _{j})(1-\theta _{i})=\rho _{j}\theta _{i}t(1-\rho _{j})(1-\theta _{i}),}$

dónde${\displaystyle \qquad \qquad (i,j)\in \{1,2,\ldots ,k\}\times \{1,2,\ldots ,M\}}$, matriz de etiquetas:${\displaystyle Z_{ij}\in \{-1,1\}}$

Es difícil de calcular, por lo que podemos utilizar métodos bayesianos variacionales ^{[ 5 ]} de${\displaystyle \Pr(i\in H^{\star }\mid S^{t})}$