PARA

FORR no posee un conocimiento perfecto de cómo resolver un problema, sino que aprende de la experiencia. Los agentes inteligentes no son óptimos, sino que toman decisiones basándose únicamente en un subconjunto de todas las posibles razones válidas y datos informativos. Estos agentes aún pueden considerarse racionales. Esta idea de racionalidad limitada fue introducida por Herbert A. Simon , ^{[ 1 ]} quien, junto con Allen Newell, desarrolló los fundamentos iniciales del estudio de las arquitecturas cognitivas y también inspiró arquitecturas tempranas como Soar y ACT-R .

FORR se basa en la idea de que existen múltiples razones o fundamentos para realizar acciones al resolver un problema. Estas razones pueden ser siempre correctas (en ajedrez, siempre es correcto realizar una jugada que ponga al oponente en jaque mate) o solo a veces correctas. Las razones siempre correctas son la minoría. Las razones a veces correctas pueden entrar en conflicto entre sí: por ejemplo, en un juego, una buena razón podría ser capturar piezas, mientras que otra podría ser controlar alguna zona del tablero. En FORR, estas razones en conflicto se denominan Asesores.

El sistema de asesoramiento por niveles es lo suficientemente general como para que se pueda implementar cualquier posible buena razón, como la probabilística , la deductiva o la perceptiva , siempre que ofrezca consejos sobre su preferencia por una acción sobre otra.

Debido a su dependencia de un conjunto de agentes independientes (los Asesores), FORR puede considerarse una arquitectura conexionista .

Los Asesores son el conjunto de razonamientos o heurísticas para tomar una decisión. Se pueden considerar el componente de memoria procedimental de la arquitectura. Ante cada nueva decisión, se consulta a los Asesores para determinar qué acción realizar. Los Asesores nunca se comunican entre sí ni aprenden por sí mismos: simplemente solicitan información sobre el estado del problema, almacenada en forma de descriptivos, y hacen una sugerencia basada en esa información. Los Asesores se dividen en tres niveles, que se consultan en el siguiente orden:

• Nivel 1: Estos asesores siempre tienen razón. Si sugieren una acción, esta se lleva a cabo de inmediato y la consulta finaliza. Si la desaconsejan, se descarta. En caso contrario, se pasa al siguiente nivel.
• Nivel 2: si se activa uno de estos asesores , propone un subproblema o un conjunto ordenado de acciones para lograr un objetivo secundario en la solución del problema general (como sortear un obstáculo en un laberinto). Si no se activa ningún asesor de nivel 2, se pasa al último nivel.
• Nivel 3: Estas son todas las demás justificaciones. No siempre son correctas, pero compiten entre sí. Se vota sobre una acción y se ejecuta la sugerencia más votada. Las diferentes clases de problemas dentro del mismo dominio tendrán diferentes ponderaciones para los mismos Asesores, y estas ponderaciones se desarrollan a partir de la experiencia mediante algoritmos de aprendizaje .

El componente de memoria declarativa de la arquitectura, los descriptores, representan el estado del problema y están disponibles para cualquier Asesor.

El script de comportamiento consulta secuencialmente a cada nivel de asesores. Si un asesor de nivel 1 sugiere una acción, el script la ejecuta. De lo contrario, si se activa un asesor de nivel 2, significa que se ha detectado un subproblema. Un asesor de nivel 1 garantiza que solo un asesor de nivel 2 esté activo en cada momento. Si ningún asesor de nivel 1 comenta y ningún asesor de nivel 2 se activa, el script solicita sugerencias o comentarios a todos los asesores de nivel 3 y les permite votar. El script ejecuta la acción con el mayor número de votos entre todos los asesores de nivel 3.

1. Decida el ámbito del problema.
2. Utilice el conocimiento del dominio , la revisión de la literatura, la intuición y el sentido común para enumerar una lista de posibles razones para tomar una decisión, que puede ser buena o mala para diferentes clases dentro del dominio. Estas razones son los Asesores.
3. Divida a los asesores en niveles:
   1. Los asesores que siempre tienen razón están en el Nivel 1. Por ejemplo, siempre es correcto hacer una jugada ganadora en un juego de mesa.
   2. Los asesores que identifican un subproblema pasan al Nivel 2. Por ejemplo, rodear un muro en un laberinto.
   3. Todos los demás asesores son de nivel 3.
4. Codifique los asesores. Cada asesor devuelve un conjunto de acciones sugeridas junto con ponderaciones para cada acción sugerida. Las ponderaciones se establecen inicialmente en un valor uniforme, como 0,05.
5. Identifique toda la información sobre el estado del problema que necesitan todos los asesores. Estas son las descripciones. Codifique estas.
6. Codifica el script de comportamiento que consulta a los asesores y ejecuta la acción que sugieren.
7. En la fase de aprendizaje, aprenda los pesos de los asesores en un conjunto de instancias de problemas específicos utilizando un algoritmo de aprendizaje por refuerzo .
8. Pruebe la arquitectura en un conjunto de instancias problemáticas no encontradas anteriormente.

Los asesores son los mismos para todas las clases de problemas en un dominio, pero sus ponderaciones pueden variar para cada clase dentro del dominio. Las heurísticas importantes para el tres en raya podrían no serlo para otro juego de mesa. FORR aprende las ponderaciones de sus asesores de nivel 3 mediante la experiencia. A los asesores que sugieren una acción que resulta en un fracaso se les penaliza su ponderación, mientras que a los asesores cuyas sugerencias resultan en éxito se les incrementa. Los algoritmos de aprendizaje varían según la implementación.