Instituto de Investigación de Inteligencia Artificial

El Instituto de Investigación de Inteligencia Artificial ( MIRI ), anteriormente conocido como Instituto de la Singularidad para la Inteligencia Artificial ( SIAI ), es un instituto de investigación sin fines de lucro que, desde 2005, se dedica a identificar y gestionar los posibles riesgos existenciales derivados de la inteligencia artificial . El trabajo de MIRI se ha centrado en un enfoque de IA amigable para el diseño de sistemas y en la predicción del ritmo de desarrollo tecnológico.

En 2000, Eliezer Yudkowsky fundó el Singularity Institute for Artificial Intelligence con financiación de Brian y Sabine Atkins, con el propósito de acelerar el desarrollo de la inteligencia artificial (IA). ^{[ 1 ] [ 2 ] [ 3 ]} Sin embargo, Yudkowsky comenzó a preocuparse de que los sistemas de IA desarrollados en el futuro pudieran volverse superinteligentes y representar riesgos para la humanidad. ^{[ 1 ]} En 2005, el instituto se trasladó de Atlanta a Silicon Valley y comenzó a centrarse en formas de identificar y gestionar esos riesgos, que en ese momento eran ignorados en gran medida por los científicos del campo. ^{[ 2 ] [ 4 ]}

A partir de 2006, el Instituto organizó la Cumbre de la Singularidad para debatir el futuro de la IA, incluidos sus riesgos, inicialmente en cooperación con la Universidad de Stanford y con financiación de Peter Thiel . El San Francisco Chronicle describió la primera conferencia como una "presentación en el Área de la Bahía de la filosofía inspirada en la tecnología llamada transhumanismo ". ^{[ 5 ] [ 6 ]} En 2011, sus oficinas eran cuatro apartamentos en el centro de Berkeley. ^{[ 7 ]} En diciembre de 2012, el instituto vendió su nombre, dominio web y la Cumbre de la Singularidad a Singularity University , ^{[ 8 ]} y al mes siguiente adoptó el nombre de "Machine Intelligence Research Institute". ^{[ 9 ]}

En 2014 y 2015, el interés público y científico en los riesgos de la IA creció, lo que incrementó las donaciones para financiar la investigación en MIRI y organizaciones similares. ^{[ 3 ] [ 10 ] : 327}

En 2019, Open Philanthropy recomendó una subvención de apoyo general de aproximadamente 2,1 millones de dólares durante dos años para MIRI. ^{[ 11 ]} En abril de 2020, Open Philanthropy complementó esta con una subvención de 7,7 millones de dólares durante dos años. ^{[ 12 ] [ 13 ]}

En 2021, Vitalik Buterin donó varios millones de dólares en Ethereum a MIRI. ^{[ 14 ]}

El enfoque de MIRI para identificar y gestionar los riesgos de la IA, liderado por Yudkowsky, aborda principalmente cómo diseñar una IA amigable, abarcando tanto el diseño inicial de los sistemas de IA como la creación de mecanismos para garantizar que los sistemas de IA en evolución sigan siendo amigables. ^{[ 3 ] [ 15 ] [ 16 ]}

Los investigadores de MIRI abogan por realizar trabajos de seguridad tempranos como medida de precaución. ^{[ 17 ]} Sin embargo, los investigadores de MIRI han expresado escepticismo sobre las opiniones de defensores de la singularidad como Ray Kurzweil, quienes afirman que la superinteligencia está "a la vuelta de la esquina". ^{[ 15 ]} MIRI ha financiado trabajos de predicción a través de una iniciativa llamada AI Impacts, que estudia casos históricos de cambio tecnológico discontinuo, y ha desarrollado nuevas medidas del poder computacional relativo de los humanos y el hardware informático. ^{[ 18 ]}

MIRI se alinea con los principios y objetivos del movimiento del altruismo eficaz . ^{[ 19 ]}

• Graves, Matthew (8 de noviembre de 2017). "Por qué deberíamos preocuparnos por la superinteligencia artificial" . Skeptic . The Skeptics Society . Recuperado el 28 de julio de 2018 .
• LaVictoire, Patrick; Fallenstein, Benja; Yudkowsky, Eliezer ; Bárász, Mihály; Christiano, Paul; Herreshoff, Marcello (2014). "Equilibrio de programas en el dilema del prisionero mediante el teorema de Löb" . Interacción multiagente sin coordinación previa: ponencias del taller AAAI-14 . Publicaciones de la AAAI.
• Soares, Nate; Levinstein, Benjamin A. (2017). "Engañando a la muerte en Damasco" (PDF) . Taller de Epistemología Formal . Recuperado el 28 de julio de 2018 .
• Soares, Nate; Fallenstein, Benja; Yudkowsky, Eliezer ; Armstrong, Stuart (2015). "Corrigibilidad" . Talleres de la AAAI: Talleres en la Vigésimo Novena Conferencia de la AAAI sobre Inteligencia Artificial, Austin, TX, 25-26 de enero de 2015. Publicaciones de la AAAI. Archivado del original el 15 de enero de 2016. Recuperado el 16 de octubre de 2015 .
• Soares, Nate; Fallenstein, Benja (2015). "Alineando la superinteligencia con los intereses humanos: una agenda de investigación técnica" (PDF) . En Miller, James; Yampolskiy, Roman; Armstrong, Stuart; et  al. (eds.). La singularidad tecnológica: gestionando el camino . Springer.
• Yudkowsky, Eliezer (2008). «La inteligencia artificial como factor positivo y negativo en el riesgo global» (PDF) . En Bostrom, Nick ; Ćirković, Milan (eds.). Riesgos catastróficos globales . Oxford University Press. ISBN 978-0199606504.
• Taylor, Jessica (2016). "Cuantificadores: una alternativa más segura a los maximizadores para la optimización limitada" . Talleres en la trigésima conferencia AAAI sobre inteligencia artificial .
• Yudkowsky, Eliezer (2011). "Sistemas de valores complejos en IA amigable" (PDF) . Inteligencia artificial general: 4.ª Conferencia Internacional, AGI 2011, Mountain View, CA, EE. UU., 3-6 de agosto de 2011. Berlín: Springer.
• Yudkowsky, Eliezer; Soares, Nate (2025). Si alguien lo construye, todos morimos: por qué la IA sobrehumana nos mataría a todos . pág.  256. ISBN 9781668652657.

• Instituto Allen para la Inteligencia Artificial
• Instituto del Futuro de la Humanidad
• Instituto de Ética y Tecnologías Emergentes

• Russell, Stuart; Dewey, Daniel; Tegmark, Max (Invierno 2015). "Prioridades de investigación para una inteligencia artificial robusta y beneficiosa". AI Magazine . 36 (4): 6. arXiv : 1602.03506 . Bibcode : 2016arXiv160203506R . doi : 10.1609/aimag.v36i4.2577 .

• Sitio web oficial
• "Instituto de Investigación de Inteligencia Artificial" . Presentaciones ante el Servicio de Impuestos Internos. Explorador de organizaciones sin fines de lucro de ProPublica .