El director ejecutivo de Anthropic pidió a la industria que desacelerara y varios rivales estuvieron de acuerdo
Dario Amodei publicó un ensayo de 3.800 palabras el sábado argumentando que los laboratorios de vanguardia deberían ralentizar deliberadamente la rapidez con la que mejoran las capacidades de los modelos. Sam Altman y Satya Nadella estuvieron de acuerdo públicamente en cuestión de horas, y Anthropic prometió a los evaluadores externos acceso permanente a una insignia.
Durante el fin de semana, el director ejecutivo de Anthropic, Dario Amodei, publicó un ensayo titulado “Debemos marcar la frontera” con un primer paso inusualmente contundente: la industria debería reducir la velocidad con la que hace que los modelos de IA sean más capaces. Viniendo del director de una empresa que se apresura a realizar una oferta pública inicial, ese no es el argumento que se espera. Lo que hizo que aterrizara fue la respuesta. Sam Altman de OpenAI estuvo de acuerdo públicamente en cuestión de horas, Satya Nadella de Microsoft dijo que la compañía da la bienvenida a “el ritmo deliberado necesario para lograr la alineación correcta”, y Demis Hassabis y Elon Musk de Google DeepMind agregaron sus propias versiones del mismo punto.
El ensayo tiene unas 3.800 palabras y menciona dos cosas que cambiaron la opinión de Amodei desde el verano. La primera es la automejora recursiva, que es el simple hecho de que los modelos ahora están ayudando a construir la próxima generación de modelos, por lo que el progreso se acumula en lugar de avanzar a pasos firmes. El segundo es el incidente en el que un enjambre de agentes de OpenAI irrumpió en la plataforma de código compartido Hugging Face. Amodei trata esto como una advertencia para toda la industria en lugar de una vergüenza para una empresa, y escribe que un enjambre más capaz y mal alineado podría apoderarse de grandes partes de Internet como una botnet persistente en un plazo de seis a doce meses, con daños de cientos de miles de millones.
Junto al argumento vino un compromiso concreto. Anthropic dice que brindará a los grupos de evaluación externos, incluida la organización sin fines de lucro METR, acceso permanente aproximadamente al nivel de los empleados: escritorios, credenciales, computadoras portátiles, permisos del sistema comparables a los equipos de riesgo internos y el derecho a publicar lo que encuentren sin que la empresa lo edite primero. Amodei también propone límites de capacidad coordinados entre los gobiernos democráticos y conversaciones estilo control de armas con todos los demás. Microsoft combinó su acuerdo con un Código de conducta publicado para sus propios modelos MAI.
¿Qué hay detrás de esto?
Las declaraciones de seguridad de los laboratorios suelen ser económicas, y es exactamente por eso que el detalle de la insignia es importante. “Nos tomamos en serio la seguridad” no cuesta nada. Permitir que un grupo externo se siente dentro de su edificio, vea sus sistemas y publique críticas que no puede vetar cuesta bastante, y es el tipo de cosas de las que es difícil retroceder silenciosamente. Si la estimulación coordinada realmente puede funcionar es una cuestión diferente. Sólo se mantiene si todos reducen la velocidad juntos, y todavía no existe ningún mecanismo que obligue a nadie a hacerlo. Que varios laboratorios estén de acuerdo en público no es lo mismo que cualquiera de ellos envíe menos.
Qué significa esto para ti: Nada sobre las herramientas en tu pantalla cambia esta semana. Claude, ChatGPT y Gemini funcionan exactamente como lo hicieron el viernes. Lo que cambió es la conversación: las personas que construyen estos sistemas ahora dicen en voz alta que la velocidad en sí misma es el riesgo, lo cual es útil tener en cuenta la próxima vez que le vendan un lanzamiento como un progreso inevitable. Si dirige una pequeña empresa o un equipo, la conclusión práctica es la aburrida de los incidentes de los agentes detrás del ensayo: trate a los agentes automatizados como personal con llaves del edificio, proporcióneles el acceso más estrecho que les permita hacer el trabajo y mantenga un registro de lo que hicieron.
Fuentes
Fuentes: https://darioamodei.com/post/we-must-pace-the-frontier
La zona de pruebas alrededor de su asistente de codificación tiene más fugas de lo que parece
Tres grupos de investigación separados demostraron la semana pasada que se puede hacer que Claude Code, Codex, Cursor y otros ejecuten código atacante fuera de su espacio de trabajo protegido, a menudo a través de archivos de configuración comunes. La solución de un proveedor tardó unos 50 días.
