Nate Soares

Nathaniel Soares es un autor e investigador estadounidense de inteligencia artificial conocido por su trabajo sobre el riesgo existencial de la IA . ^{[ 1 ] [ 2 ]} En 2014, Soares fue coautor de un artículo que introdujo el término alineación de la IA , el desafío de hacer que las IA cada vez más capaces se comporten según lo previsto. ^{[ 3 ] [ 4 ]} Soares es el presidente del Machine Intelligence Research Institute (MIRI), ^{[ 5 ]} una organización de investigación sin fines de lucro con sede en Berkeley, California .

En 2025, Soares fue coautor de If Anyone Builds It, Everyone Dies con Eliezer Yudkowsky . En el libro, argumenta que crear una IA (o superinteligencia ) mucho más inteligente que la humana “utilizando algo remotamente parecido a las técnicas actuales” muy probablemente resultaría en la extinción humana; además sostiene que la alineación de la IA aún es incipiente y que probablemente se requerirá una intervención regulatoria internacional para evitar que los desarrolladores se apresuren a construir sistemas catastróficamente peligrosos. ^{[ 6 ] [ 7 ] [ 8 ] [ 9 ]} El libro recibió atención generalizada y críticas mixtas: The Guardian lo seleccionó como "Libro del día" y lo describió como "claro" aunque sus conclusiones son "difíciles de digerir"; The Washington Post lo caracterizó como una polémica que ofrece pocas instrucciones concretas; y The New Yorker lo presentó en "Brevemente notado". La cobertura también incluyó reportajes en Wired , Semafor y SFGATE . ^{[ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ]}

Soares recibió su licenciatura en ciencias (en informática y economía) de la Universidad George Washington en 2011. ^{[ 16 ]} Soares trabajó como investigador asociado en el Instituto Nacional de Estándares y Tecnología y como contratista para el Departamento de Defensa de los Estados Unidos , creando herramientas de software para la Universidad Nacional de Defensa , antes de pasar un tiempo en Microsoft y Google . ^{[ 17 ] [ 18 ]}

Soares dejó Google en 2014 para convertirse en investigador asociado en el Machine Intelligence Research Institute. ^{[ 19 ]} Fue el autor principal de la agenda de investigación de MIRI, que en enero de 2015 fue ampliamente citada en Research Priorities for Robust and Beneficial Artificial Intelligence , una carta abierta que instaba a los científicos de IA a priorizar la investigación técnica “no solo en hacer que la IA sea más capaz, sino también en maximizar el beneficio social de la IA”. ^{[ 20 ] [ 21 ]} Esto incluía “investigación sobre la posibilidad de máquinas superinteligentes o auto-mejora rápida y sostenida (explosión de inteligencia)”. ^{[ 20 ]}

Poco después de unirse a MIRI, Soares se convirtió en el director ejecutivo del instituto. ^{[ 19 ] [ 22 ]} En 2017, dio una charla en Google en la que describió problemas de investigación abiertos en la alineación de IA y argumentó que el problema de la alineación parece particularmente difícil. ^{[ 23 ]}

En 2023, MIRI pasó de centrarse en la investigación sobre alineación a centrarse en advertir a los responsables políticos y al público sobre los riesgos que plantean los posibles desarrollos futuros en IA. ^{[ 24 ]} Coincidiendo con este cambio, Soares pasó del cargo de director ejecutivo al de presidente, y Malo Bourgon asumió como nuevo director ejecutivo de MIRI. ^{[ 24 ] [ 25 ]}

• Garrabrant, Scott; Benson-Tilsen, Tsvi; Critch, Andrew; Soares, Nate; Taylor, Jessica (2017). "Un enfoque formal al problema de la no omnisciencia lógica" . Actas de la decimosexta conferencia sobre aspectos teóricos de la racionalidad y el conocimiento . págs. 221-235 . 
• Soares, Nate (2018). «El problema del aprendizaje de valores» (PDF) . En Yampolskiy, Roman (ed.). Seguridad y protección de la inteligencia artificial . Chapman & Hall. ISBN 9780815369820.
• Soares, Nate; Fallenstein, Benya (2017). «Fundamentos de los agentes para alinear la inteligencia artificial con los intereses humanos: una agenda de investigación técnica» (PDF) . En Callaghan, Victor; Miller, James; Yampolskiy, Roman; Armstrong, Stuart (eds.). La singularidad tecnológica . Springer. ISBN 9783662540312.
• Soares, Nate; Fallenstein, Benja; Yudkowsky, Eliezer; Armstrong, Stuart (2015). "Corrigibilidad" (PDF) . Talleres de la AAAI: Talleres de la Vigésimo Novena Conferencia de la AAAI sobre Inteligencia Artificial, Austin, TX, 25-26 de enero de 2015. Publicaciones de la AAAI. págs. 74-82 . 
• Soares, Nate; Levinstein, Benjamin (2020). "Engañando a la muerte en Damasco" (PDF) . The Journal of Philosophy . 117 (5): 237– 266. doi : 10.5840/jphil2020117516 .
• Yudkowsky, Eliezer; Soares, Nate (2025). Si alguien lo construye, todos morimos : por qué la IA sobrehumana nos mataría a todos . Little, Brown and Company. ISBN 9780316595643.