Empoderamiento (inteligencia artificial)

El empoderamiento en el campo de la inteligencia artificial formaliza y cuantifica (mediante la teoría de la información ) el potencial que un agente percibe tener para influir en su entorno. ^{[ 1 ] [ 2 ]} Un agente que sigue una política que maximiza el empoderamiento actúa para maximizar las opciones futuras (normalmente hasta un horizonte limitado). El empoderamiento puede utilizarse como una función de (pseudo)utilidad que depende únicamente de la información recopilada del entorno local para guiar la acción, en lugar de buscar un objetivo impuesto externamente; por lo tanto, es una forma de motivación intrínseca . ^{[ 3 ]}

El formalismo de empoderamiento depende de un modelo probabilístico comúnmente utilizado en inteligencia artificial. Un agente autónomo opera en el mundo tomando información sensorial y actuando para cambiar su estado, o el del entorno, en un ciclo de percepción y acción conocido como el bucle percepción-acción . El estado y las acciones del agente se modelan mediante variables aleatorias (${\displaystyle S:s\in {\mathcal {S}},A:a\in {\mathcal {A}}}$) y tiempo (${\displaystyle t}$). La elección de la acción depende del estado actual, y el estado futuro depende de la elección de la acción, por lo que el bucle percepción-acción que se desarrolla en el tiempo forma una red bayesiana causal .

Empoderamiento (${\displaystyle {\mathfrak {E}}}$) se define como la capacidad del canal (${\displaystyle C}$) del canal de actuación del agente, y se formaliza como el flujo de información máximo posible entre las acciones del agente y el efecto de esas acciones algún tiempo después. El empoderamiento puede entenderse como el potencial futuro del agente para afectar su entorno, medido por sus sensores. ^{[ 3 ]}

$${\displaystyle {\mathfrak {E}}:=C(A_{t}\longrightarrow S_{t+1})\equiv \max _{p(a_{t})}I(A_{t};S_{t+1})}$$

En un modelo de tiempo discreto, el empoderamiento se puede calcular para un número determinado de ciclos en el futuro, lo que en la literatura se conoce como empoderamiento de "n pasos". ^{[ 4 ]}

$${\displaystyle {\mathfrak {E}}(A_{t}^{n}\longrightarrow S_{t+n})=\max _{p(a_{t},...,a_{t+n-1})}I(A_{t},...,A_{t+n-1};S_{t+n})}$$

La unidad de potenciación depende de la base del logaritmo. La base 2 se usa comúnmente, en cuyo caso la unidad es bits .

La maximización del empoderamiento puede utilizarse como una pseudofunción de utilidad para permitir que los agentes exhiban un comportamiento inteligente sin necesidad de definir objetivos externos, por ejemplo, equilibrar un poste en un escenario de equilibrio de carreta-poste donde no se proporciona ninguna indicación de la tarea al agente. ^{[ 4 ]} El empoderamiento se ha aplicado en estudios de comportamiento colectivo ^{[ 5 ]} y en dominios continuos. ^{[ 6 ] [ 7 ]} Como ocurre con los métodos bayesianos en general, el cálculo del empoderamiento se vuelve computacionalmente costoso a medida que aumenta el número de acciones y el horizonte temporal , pero los enfoques para mejorar la eficiencia han llevado a su uso en el control en tiempo real. ^{[ 8 ]} El empoderamiento se ha utilizado para agentes de aprendizaje por refuerzo intrínsecamente motivados que juegan videojuegos, ^{[ 9 ]} y en el control de vehículos submarinos. ^{[ 10 ]}