AlphaStar (software)

AlphaStar es un software de inteligencia artificial (IA) desarrollado por DeepMind para jugar al videojuego StarCraft II . Fue presentado al público en enero de 2019. AlphaStar alcanzó el estatus de "Gran Maestro" en agosto de 2019, lo que en aquel momento se consideró un hito para la IA en los videojuegos .

Los juegos creados para humanos se consideran con validez externa como indicadores de progreso en inteligencia artificial . El motor de ajedrez Deep Blue de IBM (1997) y AlphaGo de DeepMind (2016) se consideraron hitos importantes; algunos argumentan que StarCraft también lo sería, debido a su "juego en tiempo real, observabilidad parcial, ausencia de una estrategia dominante, reglas complejas que dificultan la creación de un modelo de avance rápido y un espacio de acciones particularmente amplio y variado". ^{[ 1 ]} Aunque difícil, StarCraft aún podría ser viable con la tecnología actual porque "sus reglas son conocidas y el mundo es discreto, con solo unos pocos tipos de objetos". ^{[ 2 ]}

StarCraft II es un popular juego de estrategia en tiempo real en línea de ritmo rápido desarrollado por Blizzard Entertainment . ^{[ 3 ] [ 4 ]}

DeepMind Technologies se fundó en el Reino Unido en 2010. Ya en 2011, el fundador Demis Hassabis llamó a StarCraft "el siguiente paso" después de juegos como Go . ^{[ 5 ]} DeepMind se convirtió en una subsidiaria de Google en 2014, después de demostrar bots de autoaprendizaje con capacidad sobrehumana en una variedad de juegos de Atari 2600. En febrero de 2015, el científico informático Zachary Mason predijo que la investigación de Deepmind "conducirá a StarCraft en cinco o diez años". ^{[ 6 ]} En marzo de 2016, después de la victoria de AlphaGo sobre Lee Sedol , un jugador campeón mundial de Go, Hassabis consideró públicamente construir una IA para StarCraft , citándolo como un juego estratégico con información incompleta donde, a diferencia de Go, gran parte del "tablero" es invisible. ^{[ 7 ] [ 8 ]} En la BlizzCon de noviembre de 2016 se anunció una colaboración formal , junto con un plan para lanzar un entorno de desarrollo abierto para bots en el primer trimestre de 2017. ^{[ 9 ]}

Para 2017, DeepMind estaba experimentando con la introducción de datos de StarCraft en su software. En agosto de 2017, DeepMind y Blizzard lanzaron herramientas de desarrollo para ayudar en la creación de bots, así como datos de 65 000 partidas históricas. En ese momento, el científico informático y director de torneos de StarCraft, David Churchill, estimó que un bot tardaría cinco años en vencer a un humano, pero aclaró que AlphaGo había superado las expectativas. En Wired , el periodista tecnológico Tom Simonite afirmó: «Nadie espera que el robot gane pronto. Pero cuando lo haga, será un logro mucho mayor que la conquista del Go por parte de DeepMind». ^{[ 10 ]}

En diciembre de 2018, el bot de DeepMind derrotó al jugador profesional Grzegorz "MaNa" Komincz por 5-0. DeepMind anunció el bot, llamado "AlphaStar", en enero de 2019. Un periodista de Ars Technica y otros argumentaron que AlphaStar aún tenía ventajas injustas: "AlphaStar tiene la capacidad de hacer clics con precisión quirúrgica usando una API, mientras que los jugadores humanos están limitados por las limitaciones mecánicas de los ratones de computadora". AlphaStar también tenía una visión global en lugar de estar limitado por la cámara del juego. Además, si bien había un límite en el número de acciones en una ventana de cinco segundos, AlphaStar podía distribuir su cuota de acciones de manera desigual a lo largo de la ventana para lanzar ráfagas de actividad sobrehumanas en momentos críticos. DeepMind rápidamente reentrenó a AlphaStar con restricciones más realistas y luego perdió una revancha contra Komincz. ^{[ 11 ]} A partir de julio de 2019, la nueva versión restringida de AlphaStar compitió anónimamente contra jugadores que "optaron" por participar en la clasificación pública multijugador europea 1v1. ^{[ 12 ]} A finales de agosto de 2019, AlphaStar había alcanzado el nivel de Gran Maestro, situándose entre el 0,2% superior de los jugadores humanos. ^{[ 13 ]}

A diferencia de AlphaZero, AlphaStar aprende inicialmente a imitar los movimientos de los mejores jugadores en su base de datos de partidas entre humanos; este paso es necesario para resolver lo que Dave Silver de DeepMind llama "el problema de la exploración": descubrir nuevas estrategias sería, de otro modo, como encontrar una aguja en un pajar. Luego, los agentes juegan entre sí y aplican el aprendizaje profundo por refuerzo . Estos agentes principales también aprenden jugando contra "agentes explotadores" subóptimos cuyo propósito es exponer las debilidades de los agentes principales. ^{[ 14 ] [ 15 ]}

Después de su derrota por 5-0 en diciembre de 2018, Komincz declaró: "No esperaba que la IA fuera tan buena". ^{[ 16 ]}

Stuart Russell evaluó que la victoria de AlphaStar en 2018 requirió "una cantidad considerable de esfuerzo específico para cada problema" y que los métodos de propósito general "no estaban del todo listos para StarCraft". ^{[ 2 ]}

Un artículo en Wired UK consideró que las nuevas restricciones de AlphaStar, adoptadas para las partidas de julio de 2019, eran "justas" esta vez. ^{[ 17 ]} El profesional de StarCraft, Raza "RazerBlader" Sekha, afirmó que AlphaStar era "impresionante" pero tenía sus peculiaridades, sucumbiendo en una partida a una composición de ejército poco ortodoxa formada únicamente por unidades aéreas. El mejor jugador del Reino Unido, Joshua "RiSky" Hayward, expresó cierta decepción, diciendo que AlphaStar "a menudo no tomaba las decisiones estratégicas más eficientes". ^{[ 14 ]} El profesional Diego "Kelazhur" Schwimer calificó el juego de AlphaStar como "inimaginablemente inusual; realmente te hace cuestionar cuánto de las diversas posibilidades de StarCraft han explorado realmente los jugadores profesionales". ^{[ 13 ]} Los oponentes de AlphaStar a menudo no se daban cuenta de que estaban jugando contra un bot. ^{[ 18 ]}

Ian Sample, de The Guardian , calificó a AlphaStar como un "logro histórico" para el campo de la IA. ^{[ 19 ]} Churchill afirmó que anteriormente había visto bots que dominaban uno o dos elementos de StarCraft , pero que AlphaStar era el primero que podía manejar el juego en su totalidad. ^{[ 3 ]} Gary Marcus expresó su continuo escepticismo sobre el aprendizaje profundo , afirmando: "Hasta ahora, el campo ha tenido dificultades para llevar técnicas como esta del laboratorio y los entornos de juego al mundo real, y no veo inmediatamente este resultado como un progreso en esa dirección". ^{[ 14 ]} El investigador de IA Jon Dodge se sorprendió por AlphaStar, afirmando que no esperaba un rendimiento tan "sobrehumano" hasta "un par de años más"; en contraste, Churchill afirma que "StarCraft está lejos de estar 'resuelto', y AlphaStar aún no está ni cerca de jugar a un nivel de campeón mundial". ^{[ 4 ]}

DeepMind argumenta que los conocimientos de AlphaStar podrían beneficiar a los robots, los coches autónomos y los asistentes virtuales, que necesitan operar con "información observada de forma imperfecta". Silver ha indicado que su laboratorio "podría descansar en este punto", en lugar de intentar mejorar sustancialmente AlphaStar. ^{[ 14 ]} El propio Silver argumenta que "AlphaStar se ha convertido en el primer sistema de IA en alcanzar el nivel más alto de rendimiento humano en cualquier deporte electrónico profesional en el juego completo sin restricciones y bajo condiciones aprobadas profesionalmente... Desde que los ordenadores descifraron el Go, el ajedrez y el póker, el juego de StarCraft ha surgido, esencialmente por consenso de la comunidad, como el próximo gran desafío para la IA". ^{[ 19 ]}

El científico informático Noel Sharkey argumenta, con desaprobación, que «los analistas militares sin duda observarán las exitosas estrategias en tiempo real de AlphaStar como un claro ejemplo de las ventajas de la IA para la planificación en el campo de batalla». ^{[ 19 ]} En contraste, Silver argumenta: «Decir que esto tiene algún tipo de uso militar es tan absurdo como decir que una IA para ajedrez podría usarse para aplicaciones militares». ^{[ 14 ]}

• AlphaZero
• OpenAI Five , un bot similar para Dota 2
• Pluribus (bot de póker)

• Demostración de DeepMind sobre StarCraft II en YouTube