Anthropic permite que un organismo de control externo trabaje dentro de sus instalaciones

Anthropic dice que le ha dado a un pequeño equipo de METR, una organización sin fines de lucro que prueba sistemas de inteligencia artificial para detectar capacidades riesgosas, acceso interno a sus modelos y prácticas de seguridad. Seis empleados de METR ahora obtienen hardware, espacio de oficina y herramientas internas de la empresa, que Anthropic describe como aproximadamente a la par de lo que tienen sus propios equipos de riesgo. Luego, METR puede publicar su propio análisis de los niveles de riesgo, incidentes y prácticas de Anthropic.

Hay límites y Anthropic es abierto al respecto. Los datos del cliente, el material legalmente privilegiado y los detalles de la arquitectura del modelo (el plano técnico de cómo se construyen los modelos) quedan fuera de la mesa. Anthropic puede exigir redacciones dentro de esas categorías y decide qué cae dentro de ellas, pero no puede vetar la publicación. METR, por su parte, se reserva el derecho de decir públicamente cuánto acceso tuvo realmente. El equipo está aislado del resto del personal de METR y trabaja según acuerdos exigibles.

Anthropic enmarca esto como el nivel superior de un sistema de tres niveles. Los evaluadores de nivel 1 realizan investigaciones exhaustivas y Anthropic aprueba lo que publican. El nivel 2 puede publicar sin aprobación, con el mismo tipo de redacciones. El nivel 3, que es el acuerdo de METR, agrega acceso similar al de los empleados. Otros socios obtienen menos: SecureBio está revisando el capítulo de armas químicas y biológicas del August Risk Report de Anthropic, y Accenture y Faculty están trabajando en red-teaming (intentando deliberadamente romper un sistema para encontrar puntos débiles) y pruebas de salvaguardia. También han comenzado las primeras conversaciones con Hugging Face.

¿Por qué hacer esto? Anthropic sostiene que cierta información relevante para la seguridad no se puede hacer pública porque podría ayudar a los atacantes o porque es comercialmente sensible. Un grupo externo que pueda verlo y sea libre de decir lo que piensa es un camino intermedio entre “confía en nosotros” y “publica todo”. The Decoder señala que el movimiento sigue a Anthropic que firma el White House Accord en Super Intelligence, lo que incluye trabajar con revisores externos. Anthropic dice que todos los laboratorios de vanguardia deberían hacer lo mismo.

Una advertencia justa: ésta es una promesa sobre el acceso, no un resultado. Todavía no sabemos qué encontrará METR, y las reglas de redacción aún dejan a Anthropic algo de voz sobre lo que ve el público.

Qué significa esto para ti: para la mayoría de las personas, nada cambia hoy. Pero si se ha preguntado cómo se comprueban las afirmaciones que hacen las empresas de inteligencia artificial sobre su propia seguridad, este es un ejemplo concreto de respuesta. Esté atento a los primeros hallazgos publicados por METR y si dice que las redacciones estaban justificadas. Ese comentario le dirá más que el anuncio.

Fuentes

• Anthropic: Actualización sobre evaluadores independientes
• The Decoder: Anthropic le da acceso interno a METR