Microsoft lanza una herramienta de código abierto para que los desarrolladores puedan probar la seguridad de su inteligencia artificial

Microsoft ha lanzado una herramienta de código abierto que está creada para ayudar a los desarrolladores a evaluar la seguridad de sus sistemas de inteligencia artificial en los que estén trabajando. Se llama proyecto Counterfit y ya está disponible en GitHub.

La propia firma de Redmond ya ha utilizado Counterfit para probar sus propios modelos de IA, en el equipo rojo de la empresa. Además, otras secciones de Microsoft también están explorando el uso de la herramienta en el desarrollo de la IA.

Simulación de ciberataques con Counterfit

Según las informaciones de Microsoft en Github, Counterfit cuenta con una herramienta de línea de comandos y con una capa de automatización genérica para evaluar la seguridad de los sistemas de aprendizaje automático.

Esto permite a los desarrolladores simular ciberataques contra los sistemas de IA para comprobar la seguridad. Cualquiera puede descargar la herramienta y desplegarla a través de Azure Shell, para ejecutarla en el navegador, o localmente en un entorno Anaconda Python.

“Nuestra herramienta hace que los algoritmos de ataque publicados sean accesibles para la comunidad de seguridad y ayuda a proporcionar una interfaz extensible desde la que construir, gestionar y lanzar ataques a los modelos de IA”, ha dicho Microsoft.

La herramienta viene precargada con ejemplos de algoritmos de ataque. Además, los profesionales de la seguridad también pueden utilizar el motor de scripting cmd2 incorporado para engancharse a Counterfit desde otras herramientas ofensivas existentes con fines de prueba.

Según ITPro, Microsoft desarrolló la herramienta a partir de la necesidad de evaluar sus propios sistemas en busca de vulnerabilidades. Counterfit comenzó como scripts de ataque escritos para atacar modelos individuales de IA, y gradualmente evolucionó hacia una herramienta de automatización para atacar múltiples sistemas.

La empresa afirma que ha colaborado con varios de sus socios, clientes y entidades gubernamentales para probar la herramienta con modela de Inteligencia Artificial en sus propios entornos.