IA adversa
Una empresa de investigación de seguridad que se especializa en descifrar sistemas de inteligencia artificial y publicar cómo lo hizo.
Adversa AI es un pequeño equipo de investigación que trabaja en lo que la industria llama equipos rojos para la IA: atacar deliberadamente los modelos y los productos construidos a su alrededor para descubrir dónde ceden. Su trabajo publicado tiende a centrarse en la costura donde un chatbot deja de ser un cuadro de texto y comienza a hacer cosas, navegar por páginas, ejecutar código, leer sus archivos.
La empresa tiene la costumbre de nombrar sus hallazgos, que es la forma en que técnicas como la inyección de contexto criptográfico terminan con una etiqueta que luego adopta el resto de la industria. Primero informa a través de los canales de divulgación habituales y publica si el proveedor ha arreglado algo o no.