Garak (software)

garak es una herramienta de seguridad informática que proporciona información sobre vulnerabilidades de seguridad  en modelos de lenguaje y sistemas de diálogo, y facilita las pruebas de penetración y el análisis de vulnerabilidades (red teaming ). Cuenta con el respaldo de Nvidia. Oficialmente, su nombre es la abreviatura de "generative AI red-teaming & assessment kit" (kit de evaluación y análisis de IA generativa).

Garak se describe como el escáner de vulnerabilidades LLM líder en una revisión independiente de 2024 realizada por Fujitsu Research . ^{[ 1 ]} Se utiliza y recomienda como herramienta en artículos de Microsoft, ^{[ 2 ]} Trend Micro, ^{[ 3 ]} Nvidia ^{[ 4 ]} y Cisco, ^{[ 5 ]} y ha sido cubierto en importantes medios de noticias de TI. ^{[ 6 ] [ 7 ]}

garak fue desarrollado en la primavera de 2023 por el profesor Leon Derczynski de la ITU Copenhague ^{[ 8 ]} durante un año sabático en la Universidad de Washington . Se publicó por primera vez bajo la licencia GPL el 13 de junio de 2023. ^{[ 9 ]} Posteriormente, la licencia se actualizó a Apache 2.0. El software ahora está alojado en Nvidia, donde se mantiene como un proyecto de código abierto con soporte a largo plazo, y ha estado disponible a través del GitHub público de Nvidia desde noviembre de 2024. ^{[ 10 ]}

Los componentes principales de garak son sondas , generadores y detectores . ^{[ 11 ]} Las sondas gestionan los ataques e implementan una técnica adversaria. Los generadores abstraen los objetivos, que pueden ser un LLM, un sistema de diálogo o cualquier cosa que pueda tomar texto y devolver texto (además de otras modalidades opcionales). Las sondas intentan atacar a los generadores y pasan la salida resultante a un detector. Los detectores evalúan si la salida indica o no un ataque exitoso. Todo se compila en un informe mediante una página HTML y un objeto JSON que resume los resultados.

• Nmap
• Metasploit Framework

• Sitio web oficial
• garak en el Índice de Paquetes de Python
• garak en GitHub
• Charla de Garak en DEF CON 2024
• Vulnerabilidad de LLM en Nvidia NeMo Guardrails
• Seguridad de Nvidia para la IA agencial