Gerald Tesauro

Tesauro obtuvo una licenciatura en física de la Universidad de Maryland, College Park . Posteriormente, realizó estudios de posgrado en física de plasmas en la Universidad de Princeton , con el apoyo de una beca de la Fundación Hertz a partir de 1980. ^{[ 1 ]} Completó su doctorado en física teórica en 1986 bajo la supervisión del premio Nobel Philip W. Anderson . ^{[ 2 ]}

Tras completar su doctorado, realizó una investigación postdoctoral en el Centro de Investigación de Sistemas Complejos de la Universidad de Illinois en Urbana-Champaign . ^{[ 3 ] [ 4 ]} Durante este período, comenzó a aplicar redes neuronales a juegos, siendo coautor de un artículo en NeurIPS en 1987 con Terrence Sejnowski sobre una red neuronal que aprendió a jugar al backgammon. ^{[ 5 ]} A finales de la década de 1980, Tesauro se unió al Centro de Investigación Thomas J. Watson de IBM (IBM Research) como científico investigador, donde pasaría varias décadas, llegando finalmente al puesto de Investigador Principal en Ciencias de la IA. ^{[ 1 ]}

A finales de la década de 1980, desarrolló Neurogammon , un programa de backgammon entrenado con partidas de expertos humanos mediante aprendizaje supervisado . Neurogammon ganó el torneo de backgammon en la 1.ª Olimpiada de Computación en 1989, demostrando el potencial de las redes neuronales en la IA de juegos. ^{[ 3 ]}

Desarrolló TD-Gammon entre 1990 y 1998, utilizando aprendizaje por refuerzo , específicamente aprendizaje por diferencia temporal (TD) . TD-Gammon aprendió mediante autoaprendizaje, empleando una red neuronal para evaluar las posiciones del tablero y mejorando su estrategia a lo largo de millones de partidas. El programa alcanzó un nivel de juego de campeonato mundial, capaz de desafiar a los mejores jugadores humanos. ^{[ 6 ]} A menudo se le considera un éxito temprano de las redes neuronales, el aprendizaje automático y el RL, y se cita frecuentemente como precursor en publicaciones sobre sistemas de juego posteriores, como AlphaZero . ^{[ 7 ]}

Durante este período, Tesauro también contribuyó a la investigación del ajedrez computarizado en IBM, explorando métodos de aprendizaje automático para el entrenamiento de funciones de evaluación , aunque el proyecto principal Deep Blue fue liderado por otros. Específicamente, algunos pesos de la función de evaluación lineal se entrenaron mediante entrenamiento de comparación discretizado. ^{[ 8 ]} Los pesos evaluaban principalmente la seguridad del rey. ^{[ 9 ]} Desde 2010, también contribuyó al Go computarizado trabajando en un programa llamado Fuego. ^{[ 3 ]}

A finales de la década de 1990, Tesauro centró su atención en los sistemas multiagente y su aplicación en el comercio electrónico , como los "pricebots" autónomos, que son agentes de software diseñados para aprender estrategias óptimas de precios y pujas en mercados electrónicos. ^{[ 10 ]} Los métodos incluían el aprendizaje Q para estrategias de precios dinámicas (por ejemplo, cooperación o reducción de precios) en entornos competitivos. ^{[ 11 ] [ 12 ]} Fue una de las primeras aplicaciones del aprendizaje por refuerzo multiagente al modelado económico y al comercio automatizado . También exploró la aplicación de redes neuronales a la detección de virus informáticos . ^{[ 13 ]}

Desde principios de la década de 2000, Tesauro se convirtió en un colaborador clave de la iniciativa de computación autónoma de IBM , cuyo objetivo era crear sistemas de TI autogestionados. Aplicó el aprendizaje por refuerzo para automatizar tareas como la asignación de recursos, la optimización del rendimiento y la gestión de energía en centros de datos y sistemas distribuidos. Algunos ejemplos incluyen múltiples agentes de aprendizaje por refuerzo que cooperaban para optimizar los recursos del servidor (CPU, memoria, energía) con el fin de alcanzar los objetivos de rendimiento o minimizar el consumo de energía. ^{[ 14 ] [ 15 ] [ 16 ] [ 17 ]}

Tesauro figura como inventor en numerosas patentes estadounidenses, centradas principalmente en computación autónoma y aplicaciones de IA para la gestión de sistemas, presentadas principalmente entre 2004 y 2007. Estas incluían generalmente métodos para el aprendizaje basado en recompensas de políticas de sistemas, asignación dinámica de recursos basada en utilidad y transferencia de modelos autónomos en sistemas informáticos. ^{[ 18 ]}

Alrededor de 2009, Tesauro se unió al equipo de IBM Research, liderado por David Ferrucci , ^{[ 3 ]} que desarrolló IBM Watson , el sistema de respuesta a preguntas famoso por derrotar a los campeones humanos Ken Jennings y Brad Rutter en el programa de preguntas y respuestas Jeopardy! en 2011.

Tesauro se centró en los componentes de la estrategia de juego de Watson, incluyendo algoritmos para la sincronización del pulsador, la selección de pistas y las decisiones de apuesta (especialmente para Daily Doubles y Final Jeopardy! ). Él y sus colegas desarrollaron un Evaluador del Estado del Juego y utilizaron optimización basada en simulación, empleando técnicas de inferencia bayesiana , teoría de juegos , programación dinámica y aprendizaje por refuerzo para refinar el juego estratégico de Watson. Estos algoritmos estratégicos contribuyeron significativamente al éxito de Watson, permitiéndole gestionar el riesgo de manera efectiva y tomar decisiones de apuesta casi óptimas. ^{[ 19 ] [ 20 ] [ 21 ]}

Durante este tiempo, Tesauro también continuó investigando en algoritmos centrales de IA, siendo coautor de un artículo sobre equilibrio de simulación de Monte Carlo con David Silver (posteriormente de DeepMind ) en ICML 2009. ^{[ 22 ]} Después de Watson, Tesauro continuó investigando en IBM, en áreas como aprendizaje profundo por refuerzo , ^{[ 23 ]} RL jerárquico, sistemas multiagente, ^{[ 24 ]} y aprendizaje continuo. ^{[ 25 ]}