Algoritmo actor-crítico

El actor utiliza una función de política${\displaystyle \pi (a|s)}$, mientras que el crítico estima la función de valor${\displaystyle V(s)}$, la función Q de valor de acción${\displaystyle Q(s,a),}$la función de ventaja${\displaystyle A(s,a)}$o cualquier combinación de las mismas.

El actor es una función parametrizada${\displaystyle \pi _{\theta }}$, dónde${\displaystyle \theta }$son los parámetros del actor. El actor toma como argumento el estado del entorno.${\displaystyle s}$y produce una distribución de probabilidad${\displaystyle \pi _{\theta }(\cdot |s)}$.

Si el espacio de acción es discreto, entonces${\displaystyle \sum _{a}\pi _{\theta }(a|s)=1}$. Si el espacio de acción es continuo, entonces${\displaystyle \int _{a}\pi _{\theta }(a|s)da=1}$.

El objetivo de la optimización de políticas es mejorar al actor. Es decir, encontrar alguna${\displaystyle \theta }$que maximiza la recompensa episódica esperada${\displaystyle J(\theta )}$:$${\displaystyle J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\gamma ^{t}r_{t}\right]}$$dónde${\displaystyle \gamma }$es el factor de descuento ,${\displaystyle r_{t}}$es la recompensa en el paso${\displaystyle t}$, y${\displaystyle T}$es el horizonte temporal (que puede ser infinito).

El objetivo del método de gradiente de política es optimizar${\displaystyle J(\theta )}$mediante ascenso de gradiente en el gradiente de política${\displaystyle \nabla J(\theta)}$.

Como se detalla en la página del método del gradiente de política , existen muchos estimadores insesgados del gradiente de política:$${\displaystyle \nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{0\leq j\leq T}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})\cdot \Psi _{j}{\Big |}S_{0}=s_{0}\right]}$$dónde${\textstyle \Psi _{j}}$es una suma lineal de lo siguiente:

• ${\textstyle \sum _{0\leq i\leq T}(\gamma ^{i}R_{i})}$.
• ${\textstyle \gamma ^{j}\sum _ {j\leq i\leq T}(\gamma ^{ij}R_ {i})}$: el algoritmo REINFORCE .
• ${\textstyle \gamma ^{j}\sum _{j\leq i\leq T}(\gamma ^{ij}R_{i})-b(S_{j})}$: el algoritmo REINFORCE con línea base . Aquí${\displaystyle b}$es una función arbitraria.
• ${\textstyle \gamma ^{j}\left(R_{j}+\gamma V^{\pi _{\theta }}(S_{j+1})-V^{\pi _{\theta }}(S_{j})\right)}$: Aprendizaje TD(1) .
• ${\textstyle \gamma ^{j}Q^{\pi _{\theta }}(S_{j},A_{j})}$.
• ${\textstyle \gamma ^{j}A^{\pi _{\theta }}(S_{j},A_{j})}$: Ventaja Actor-Crítico (A2C) . ^{[ 3 ]}
• ${\textstyle \gamma ^{j}\left(R_{j}+\gamma R_{j+1}+\gamma ^{2}V^{\pi _{\theta }}(S_{j+2})-V^{\pi _{\theta }}(S_{j})\right)}$: Aprendizaje TD(2).
• ${\textstyle \gamma ^{j}\left(\sum _{k=0}^{n-1}\gamma ^{k}R_{j+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{j+n})-V^{\pi _{\theta }}(S_{j})\right)}$: Aprendizaje TD(n).
• ${\textstyle \gamma ^{j}\sum _{n=1}^{\infty }{\frac {\lambda ^{n-1}}{1-\lambda }}\cdot \left(\sum _{k=0}^{n-1}\gamma ^{k}R_{j+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{j+n})-V^{\pi _{\theta }}(S_{j})\right)}$: Aprendizaje TD(λ), también conocido como GAE (estimación de ventaja generalizada) . ^{[ 4 ]} Esto se obtiene mediante una suma que decae exponencialmente de los términos de aprendizaje TD(n).

En los estimadores insesgados dados anteriormente, ciertas funciones como${\displaystyle V^{\pi _{\theta }},Q^{\pi _{\theta }},A^{\pi _{\theta }}}$Aparecen. Estas son aproximadas por el crítico . Dado que todas estas funciones dependen del actor, el crítico debe aprender junto con el actor. El crítico se aprende mediante algoritmos de aprendizaje por refuerzo basados ​​en valores.

Por ejemplo, si el crítico está estimando la función de valor de estado.${\displaystyle V^{\pi _{\theta }}(s)}$, entonces se puede aprender mediante cualquier método de aproximación de función de valor. Sea el crítico un aproximador de función.${\displaystyle V_{\phi }(s)}$con parámetros${\displaystyle \phi }$.

El ejemplo más sencillo es el aprendizaje TD(1), que entrena al crítico para minimizar el error TD(1):$${\displaystyle \delta _{i}=R_{i}+\gamma V_{\phi }(S_{i+1})-V_{\phi }(S_{i})}$$Los parámetros críticos se actualizan mediante descenso de gradiente sobre el error TD al cuadrado:$${\displaystyle \phi \leftarrow \phi -\alpha \nabla _{\phi }(\delta _{i})^{2}=\phi +\alpha \delta _{i}\nabla _{\phi }V_{\phi }(S_{i})}$$dónde${\displaystyle \alpha }$es la tasa de aprendizaje. Tenga en cuenta que el gradiente se toma con respecto a la${\displaystyle \phi }$en${\displaystyle V_{\phi }(S_{i})}$solamente, ya que el${\displaystyle \phi }$en${\displaystyle \gamma V_{\phi }(S_{i+1})}$constituye un objetivo en movimiento, y el gradiente no se toma con respecto a él. Esta es una fuente común de error en las implementaciones que utilizan diferenciación automática , y requiere "detener el gradiente" en ese punto.

De manera similar, si el crítico está estimando la función de valor de acción${\displaystyle Q^{\pi _{\theta }}}$, entonces se puede aprender mediante Q-learning o SARSA . En SARSA, el crítico mantiene una estimación de la función Q, parametrizada por${\displaystyle \phi }$, denotado como${\displaystyle Q_{\phi }(s,a)}$El error de diferencia temporal se calcula entonces como${\displaystyle \delta _{i}=R_{i}+\gamma Q_{\theta }(S_{i+1},A_{i+1})-Q_{\theta }(S_{i},A_{i})}$El crítico es luego actualizado por$${\displaystyle \theta \leftarrow \theta +\alpha \delta _{i}\nabla _{\theta }Q_{\theta }(S_{i},A_{i})}$$El crítico de ventaja puede ser entrenado entrenando una función Q.${\displaystyle Q_{\phi }(s,a)}$y una función de valor de estado${\displaystyle V_{\phi }(s)}$, entonces deja${\displaystyle A_{\phi }(s,a)=Q_{\phi }(s,a)-V_{\phi }(s)}$Aunque es más común entrenar solo una función de valor de estado.${\displaystyle V_{\phi }(s)}$, luego estimar la ventaja mediante ^{[ 3 ]}$${\displaystyle A_{\phi }(S_{i},A_{i})\approx \sum _{j\in 0:n-1}\gamma ^{j}R_{i+j}+\gamma ^{n}V_{\phi }(S_{i+n})-V_{\phi }(S_{i})}$$Aquí,${\displaystyle n}$es un número entero positivo. Cuanto mayor sea el número entero positivo, mayor será el número entero positivo.${\displaystyle n}$Es decir, cuanto menor sea el sesgo en la estimación de la ventaja, pero a costa de una mayor varianza.

La Estimación de Ventaja Generalizada (GAE) introduce un hiperparámetro${\displaystyle \lambda }$que interpola suavemente entre los retornos de Monte Carlo (${\displaystyle \lambda =1}$, alta varianza, sin sesgo) y aprendizaje TD de 1 paso (${\displaystyle \lambda =0}$, baja varianza, alto sesgo). Este hiperparámetro se puede ajustar para elegir el equilibrio óptimo entre sesgo y varianza en la estimación de la ventaja. Utiliza un promedio exponencialmente decreciente de los rendimientos de n pasos con${\displaystyle \lambda }$siendo la fuerza de desintegración. ^{[ 4 ]}