Elección discreta dinámica

Los modelos de elección discreta dinámica (DDC) , también conocidos como modelos de elección discreta de programación dinámica , modelan las elecciones de un agente sobre opciones discretas que tienen implicaciones futuras. En lugar de suponer que las elecciones observadas son el resultado de la maximización de la utilidad estática, se supone que las elecciones observadas en los modelos DDC son el resultado de la maximización del valor presente de la utilidad por parte de un agente, generalizando así la teoría de la utilidad en la que se basan los modelos de elección discreta . ^[1]

El objetivo de los métodos DDC es estimar los parámetros estructurales del proceso de decisión del agente. Una vez que se conocen estos parámetros, el investigador puede utilizar las estimaciones para simular cómo se comportaría el agente en un estado contrafáctico del mundo (por ejemplo, cómo cambiaría la decisión de inscripción de un futuro estudiante universitario en respuesta a un aumento de la matrícula).

El problema de maximización del agente se puede escribir matemáticamente de la siguiente manera: ${\displaystyle n}$

${\displaystyle V\left(x_{n0}\right)=\max _{\left\{d_{nt}\right\}_{t=1}^{T}}\mathbb {E} \left(\sum _{t^{\prime }=t}^{T}\sum _{i=1}^{J}\beta ^{t'-t}\left(d_{nt}=i\right)U_{nit}\left(x_{nt},\varepsilon _{nit}\right)\right),}$

dónde

• ${\displaystyle x_{nt}}$son variables de estado , con la condición inicial del agente${\displaystyle x_{n0}}$
• ${\displaystyle d_{nt}}$representa la decisión de entre alternativas discretas${\displaystyle n}$${\displaystyle J}$
• ${\displaystyle \beta \in \left(0,1\right)}$es el factor de descuento
• ${\displaystyle U_{nit}}$es el flujo que recibe la utilidad al elegir la alternativa en el período y depende tanto del estado como de factores no observados${\displaystyle n}$${\displaystyle i}$${\displaystyle t}$${\displaystyle x_{nt}}$${\displaystyle \varepsilon _{nit}}$
• ${\displaystyle T}$es el horizonte temporal
• La expectativa se asume tanto en los ' como en los ' . Es decir, el agente no está seguro de las transiciones futuras en los estados, y tampoco está seguro de las realizaciones futuras de factores no observados.${\displaystyle \mathbb {E} \left(\cdot \right)}$${\displaystyle x_{nt}}$${\displaystyle \varepsilon _{nit}}$${\displaystyle U_{nit}}$

Es estándar imponer los siguientes supuestos simplificadores y notación del problema de decisión dinámico:

1. La utilidad de flujo es aditivamente separable y lineal en parámetros.

La utilidad de flujo se puede escribir como una suma aditiva, compuesta por elementos deterministas y estocásticos. El componente determinista se puede escribir como una función lineal de los parámetros estructurales .

${\displaystyle {\begin{alignedat}{5}U_{nit}\left(x_{nt},\varepsilon _{nit}\right)&&\;=\;&&u_{nit}&&\;+\;&&\varepsilon _{nit}\\&&\;=\;&&X_{nt}\alpha _{i}&&\;+\;&&\varepsilon _{nit}\end{alignedat}}}$

2. El problema de optimización se puede escribir como una ecuación de Bellman.

Definir por la función de valor ex ante para el individuo en el período justo antes de que se revele: ${\displaystyle V_{nt}(x_{nt})}$${\displaystyle n}$${\displaystyle t}$${\displaystyle \varepsilon _{nt}}$

${\displaystyle V_{nt}(x_{nt})=\mathbb {E} \max _{i}\left\{u_{nit}(x_{nt})+\varepsilon _{nit}+\beta \int _{x_{t+1}}V_{nt+1}(x_{nt+1})\,dF\left(x_{t+1}\mid x_{t}\right)\right\}}$

donde el operador de expectativa es sobre el 's, y donde representa la distribución de probabilidad sobre condicional a . La expectativa sobre las transiciones de estado se logra tomando la integral sobre esta distribución de probabilidad. ${\displaystyle \mathbb {E} }$${\displaystyle \varepsilon }$${\displaystyle dF\left(x_{t+1}\mid x_{t}\right)}$${\displaystyle x_{t+1}}$${\displaystyle x_{t}}$

Es posible descomponer en componentes deterministas y estocásticos: ${\displaystyle V_{nt}(x_{nt})}$

${\displaystyle V_{nt}(x_{nt})=\mathbb {E} \max _{i}\left\{v_{nit}(x_{nt})+\varepsilon _{nit}\right\}}$

¿Dónde está el valor de elegir la alternativa en el momento y se escribe como? ${\displaystyle v_{nit}}$${\displaystyle i}$${\displaystyle t}$

${\displaystyle v_{nit}(x_{nt})=u_{nit}\left(x_{nt}\right)+\beta \int _{x_{t+1}}\mathbb {E} \max _{j}\left\{v_{njt+1}(x_{nt+1})+\varepsilon _{njt+1}\right\}\,dF(x_{t+1}\mid x_{t})}$

donde ahora la expectativa es asumida por el . ${\displaystyle \mathbb {E} }$${\displaystyle \varepsilon _{njt+1}}$

3. El problema de optimización sigue un proceso de decisión de Markov.

Los estados siguen una cadena de Markov , es decir, la consecución del estado depende únicamente del estado y no de ningún estado anterior. ${\displaystyle x_{t}}$${\displaystyle x_{t}}$${\displaystyle x_{t-1}}$${\displaystyle x_{t-2}}$

La función de valor de la sección anterior se denomina función de valor condicional , porque es la función de valor condicional a la elección de la alternativa en el período . Escribir la función de valor condicional de esta manera es útil para construir fórmulas para las probabilidades de elección. ${\displaystyle i}$${\displaystyle t}$

Para escribir las probabilidades de elección, el investigador debe hacer una suposición sobre la distribución de las . Al igual que en los modelos de elección discreta estática, se puede suponer que esta distribución es iid Valor extremo tipo I , valor extremo generalizado , probit multinomial o logit mixto . ${\displaystyle \varepsilon _{nit}}$

Para el caso donde es logit multinomial (es decir, extraído de la distribución de valores extremos Tipo I ), las fórmulas para las probabilidades de elección serían: ${\displaystyle \varepsilon _{nit}}$

${\displaystyle P_{nit}={\frac {\exp(v_{nit})}{\sum _{j=1}^{J}\exp(v_{njt})}}}$

La estimación de modelos dinámicos de elección discreta es particularmente desafiante, debido al hecho de que el investigador debe resolver el problema de recursión hacia atrás para cada estimación de los parámetros estructurales.

Los métodos más comunes utilizados para estimar los parámetros estructurales son la estimación de máxima verosimilitud y el método de momentos simulados .

Además de los métodos de estimación, también existen métodos de solución. Se pueden emplear diferentes métodos de solución según la complejidad del problema. Estos se pueden dividir en métodos de solución completa y métodos sin solución .

El ejemplo más destacado de un método de solución completa es el algoritmo de punto fijo anidado (NFXP) desarrollado por John Rust en 1987. ^[2] El algoritmo NFXP se describe con gran detalle en su manual de documentación. ^[3]

Un trabajo reciente de Che-Lin Su y Kenneth Judd en 2012 ^[4] implementa otro enfoque (rechazado por Rust en 1987 por considerarlo intratable), que utiliza la optimización restringida de la función de verosimilitud, un caso especial de programación matemática con restricciones de equilibrio (MPEC). En concreto, la función de verosimilitud se maximiza sujeta a las restricciones impuestas por el modelo y se expresa en términos de las variables adicionales que describen la estructura del modelo. Este enfoque requiere un potente software de optimización como Artelys Knitro debido a la alta dimensionalidad del problema de optimización. Una vez resuelto, se encuentran tanto los parámetros estructurales que maximizan la verosimilitud como la solución del modelo.

En el artículo ^[5], Rust y sus coautores demuestran que la ventaja de velocidad de MPEC en comparación con NFXP no es significativa. Sin embargo, debido a que los cálculos requeridos por MPEC no dependen de la estructura del modelo, su implementación requiere mucho menos trabajo.

A pesar de numerosos contendientes, el estimador de máxima verosimilitud NFXP sigue siendo el método de estimación líder para los modelos de decisión de Markov. ^[5]

Una alternativa a los métodos de solución completa son los métodos sin solución. En este caso, el investigador puede estimar los parámetros estructurales sin tener que resolver completamente el problema de recursión hacia atrás para cada parámetro. Los métodos sin solución suelen ser más rápidos y requieren más suposiciones, pero las suposiciones adicionales son en muchos casos realistas.

El principal método de no solución es el de probabilidades de elección condicional, desarrollado por V. Joseph Hotz y Robert A. Miller. ^[6]

El modelo de reemplazo de motor de autobús desarrollado en el artículo fundamental Rust (1987) es uno de los primeros modelos estocásticos dinámicos de elección discreta estimados utilizando datos reales, y continúa sirviendo como ejemplo clásico de los problemas de este tipo. ^[4]

El modelo es un problema dinámico estocástico de parada óptima regenerativa simple al que se enfrenta el responsable de la toma de decisiones, Harold Zurcher, superintendente de mantenimiento de la Madison Metropolitan Bus Company en Madison, Wisconsin . Para cada autobús en funcionamiento en cada período de tiempo, Harold Zurcher tiene que decidir si reemplaza el motor y asume el costo asociado de reemplazo, o si continúa operando el autobús a un costo de operación cada vez mayor, que incluye el seguro y el costo de la pérdida de pasajeros en caso de una avería.

Sea la lectura del odómetro (kilometraje) en el período , el costo de operación del autobús que depende del vector de parámetros , el costo de reemplazo del motor y el factor de descuento . Entonces, la utilidad por período está dada por ${\displaystyle x_{t}}$${\displaystyle t}$${\displaystyle c(x_{t},\theta )}$${\displaystyle \theta }$${\displaystyle RC}$${\displaystyle \beta }$

${\displaystyle U(x_{t},\xi _{t},d,\theta )={\begin{cases}-c(x_{t},\theta )+\xi _{t,{\text{keep}}},&\\-RC-c(0,\theta )+\xi _{t,{\text{replace}}},&\end{cases}}=u(x_{t},d,\theta )+{\begin{cases}\xi _{t,{\text{keep}}},&{\textrm {if}}\;\;d={\text{keep}},\\\xi _{t,{\text{replace}}},&{\textrm {if}}\;\;d={\text{replace}},\end{cases}}}$

donde denota la decisión (mantener o reemplazar) y y representan el componente de la utilidad observada por Harold Zurcher, pero no por John Rust. Se supone que y son independientes y se distribuyen de manera idéntica con la distribución de valores extremos de Tipo I , y que son independientes de condicionalmente a . ${\displaystyle d}$${\displaystyle \xi _{t,{\text{keep}}}}$${\displaystyle \xi _{t,{\text{replace}}}}$${\displaystyle \xi _{t,{\text{keep}}}}$${\displaystyle \xi _{t,{\text{replace}}}}$${\displaystyle \xi _{t,\bullet }}$${\displaystyle \xi _{t-1,\bullet }}$${\displaystyle x_{t}}$

Entonces las decisiones óptimas satisfacen la ecuación de Bellman

${\displaystyle V(x,\xi ,\theta )=\max _{d={\text{keep}},{\text{replace}}}\left\{u(x,d,\theta )+\xi _{d}+\iint V(x',\xi ',\theta )q(d\xi '\mid x',\theta )p(dx'\mid x,d,\theta )\right\}}$

donde y son respectivamente densidades de transición para las variables de estado observadas y no observadas. Los índices de tiempo en la ecuación de Bellman se descartan porque el modelo está formulado en la configuración de horizonte infinito, la política óptima desconocida es estacionaria , es decir, independiente del tiempo. ${\displaystyle p(dx'\mid x,d,\theta )}$${\displaystyle q(d\xi '\mid x',\theta )}$

Dado el supuesto distribucional de , la probabilidad de una elección particular está dada por ${\displaystyle q(d\xi '\mid x',\theta )}$${\displaystyle d}$

${\displaystyle P(d\mid x,\theta )={\frac {\exp\{u(x,d,\theta )+\beta EV(x,d,\theta )\}}{\sum _{d'\in D(x)}\exp\{u(x,d',\theta )+\beta EV(x,d',\theta )\}}}}$

donde es una solución única para la ecuación funcional${\displaystyle EV(x,d,\theta )}$

${\displaystyle EV(x,d,\theta )=\int \left[\log \left(\sum _{d={\text{keep}},{\text{replace}}}\exp\{u(x,d',\theta )+\beta EV(x',d',\theta )\}\right)\right]p(x'\mid x,d,\theta ).}$

Se puede demostrar que la última ecuación funcional define una función de contracción si el espacio de estados está acotado, por lo que habrá una solución única para cualquier , y además se cumple el teorema de la función implícita , por lo que también es una función suave de para cada . ${\displaystyle x_{t}}$${\displaystyle EV(x,d,\theta )}$${\displaystyle \theta }$${\displaystyle EV(x,d,\theta )}$${\displaystyle \theta }$${\displaystyle (x,d)}$

La función de contracción anterior se puede resolver numéricamente para el punto fijo que arroja probabilidades de elección para cualquier valor dado de . La función de verosimilitud logarítmica se puede formular entonces como ${\displaystyle EV(x,d,\theta )}$${\displaystyle P(d\mid x,\theta )}$${\displaystyle \theta }$

${\displaystyle L(\theta )=\sum _{i=1}^{N}\sum _{t=1}^{T_{i}}\log(P(d_{it}\mid x_{it},\theta ))+\log(p(x_{it}\mid x_{it-1},d_{it-1},\theta )),}$

donde y representan datos sobre variables de estado (lecturas del odómetro) y decisiones (mantener o reemplazar) para autobuses individuales, cada uno en períodos. ${\displaystyle x_{i,t}}$${\displaystyle d_{i,t}}$${\displaystyle i=1,\dots ,N}$${\displaystyle t=1,\dots ,T_{i}}$

El algoritmo conjunto para resolver el problema del punto fijo dado un valor particular de parámetro y maximizar la verosimilitud con respecto a fue denominado por John Rust algoritmo de punto fijo anidado (NFXP). ${\displaystyle \theta }$${\displaystyle L(\theta )}$${\displaystyle \theta }$

La implementación de Rust del algoritmo de punto fijo anidado está altamente optimizada para este problema, utilizando iteraciones de Newton-Kantorovich para calcular y métodos cuasi-Newton , como el algoritmo de Berndt-Hall-Hall-Hausman , para maximizar la verosimilitud. ^[5]${\displaystyle P(d\mid x,\theta )}$

En el algoritmo de punto fijo anidado, se recalcula para cada aproximación de los parámetros θ . El método MPEC, en cambio, resuelve el problema de optimización restringida : ^[4]${\displaystyle P(d\mid x,\theta )}$

${\displaystyle {\begin{aligned}\max &\qquad L(\theta )&\\{\text{subject to}}&\qquad EV(x,d,\theta )=\int \left[\log \left(\sum _{d={\text{keep}},{\text{replace}}}\exp\{u(x,d',\theta )+\beta EV(x',d',\theta )\}\right)\right]p(x'\mid x,d,\theta )\end{aligned}}}$

Este método es más rápido de calcular que las implementaciones no optimizadas del algoritmo de punto fijo anidado y lleva aproximadamente el mismo tiempo que las implementaciones altamente optimizadas. ^[5]

El método de probabilidades de elección condicional de Hotz y Miller se puede aplicar en este contexto. Hotz, Miller, Sanders y Smith propusieron una versión computacionalmente más simple del método y la probaron en un estudio del problema de reemplazo de motores de autobús. El método funciona estimando probabilidades de elección condicional utilizando simulación y luego eliminando las diferencias implícitas en las funciones de valor . ^{[7] [8]}

• Aprendizaje por refuerzo inverso

• Aguirregabiria, Victor; Mira, Pedro (2010). "Modelos estructurales de elección discreta dinámica: una encuesta" (PDF) . Journal of Econometrics . 156 (1). Elsevier BV: 38–67. doi :10.1016/j.jeconom.2009.09.007. ISSN  0304-4076.
• Keane, Michael P. ; Wolpin, Kenneth I. (2009). "Aplicaciones empíricas de modelos de programación dinámica de elección discreta". Revista de Dinámica Económica . 12 (1): 1–22. doi :10.1016/j.red.2008.07.001.
• Rust, John (1987). "Reemplazo óptimo de motores de autobuses GMC: un modelo empírico de Harold Zurcher". Econometrica . 55 (5): 999–1033. doi :10.2307/1911259. ISSN  0012-9682. JSTOR  1911259.
• Rust, John (1994). "Capítulo 51 Estimación estructural de procesos de decisión de Markov". Handbook of Econometrics . Vol. 4. Elsevier. págs. 3081–3143. doi :10.1016/s1573-4412(05)80020-0. ISBN 978-0-444-88766-5. ISSN  1573-4412.