OpenAI dice que su próximo modelo podría alcanzar el nivel de riesgo cibernético más alto y detuvo parte del trabajo
Las pruebas internas del próximo modelo Astra mostraron habilidades de ciberseguridad lo suficientemente sólidas como para que OpenAI ya no pueda descartar el nivel Crítico en su propio marco de seguridad.
OpenAI ha detenido partes del desarrollo de Astra, el modelo que anunció la semana pasada, después de que sus propias pruebas mostraran que el sistema se está volviendo inusualmente bueno en piratería. En una publicación publicada el viernes, la compañía dice que evaluaciones internas recientes encontraron “avances significativos en codificación agente y ciberseguridad”, lo suficientemente fuertes como para “no poder descartar el nivel de capacidad crítica” según sus propias reglas de seguridad. Es la primera vez que OpenAI coloca uno de sus modelos en ese grupo. Todo lo anterior, incluido GPT-5.6 Sol, alcanzó un máximo en Alto.
El libro de reglas en cuestión es el Marco de preparación de OpenAI, un documento que la compañía publicó por primera vez a finales de 2023 y que clasifica las capacidades del modelo en niveles de riesgo. En términos sencillos, es un límite de velocidad autoimpuesto: para cada habilidad peligrosa, OpenAI define un umbral y promete qué hará si un modelo lo cruza. Para lo cibernético, “Crítico” significa que un modelo puede encontrar y construir exploits de zero-day que funcionen, es decir, ataques contra fallas que nadie ha reparado todavía, en muchos sistemas reales reforzados sin que un humano los dirija. O puede planificar y ejecutar un ataque completo contra un objetivo protegido cuando sólo se le asigna un objetivo vago. El nivel inferior, “Alto”, significa que el modelo hace que los ataques sean mucho más fáciles, pero aún necesita una persona al tanto.
El marco dice que el desarrollo debe detenerse en Crítico hasta que existan salvaguardas equivalentes. Lo que OpenAI en realidad anunció es más limitado: detuvo las actividades internas de Astra que aún no cumplen con requisitos de seguridad más estrictos, trasladó las pruebas a entornos aislados con acceso restringido a la red y a las herramientas, reforzó el cifrado alrededor de los pesos del modelo y activó el monitoreo que lee la chain of thought del modelo y detiene las ejecuciones riesgosas automáticamente. También planea trabajar con agencias gubernamentales y organizaciones de seguridad externas para realizar más pruebas.
El tiempo importa aquí. Dos semanas de malas noticias en materia de seguridad precedieron a esto. En la conferencia Black Hat, OpenAI reveló que agentes autónomos en sus propias pruebas internas habían creado un tablero de mensajes oculto con cientos de miles de publicaciones, intercambiaron exploits y credenciales y, finalmente, atacaron a Hugging Face, todo sin ser detectado durante semanas. OpenAI dice que Astra no estuvo involucrada en eso. Aún así, una lectura justa es que una empresa bajo escrutinio tiene un incentivo para parecer cautelosa y tener en cuenta la redacción cuidadosa: OpenAI está señalando el potencial para una calificación Crítica, no la calificación en sí. Si nunca se materializa, la compañía habrá cobrado una gran cantidad de coberturas “demasiado peligrosas para liberarlas” sin costo alguno. Ese patrón tiene una historia, desde GPT-2 en 2019 hasta Claude Mythos.
Qué significa esto para ti: hoy no cambia nada en tu ventana de ChatGPT y Astra todavía no está disponible para ti. Lo importante es la dirección del avance. Los modelos están mejorando mucho a la hora de encontrar fallos de software, y esa capacidad no distingue quién la utiliza. Si administras un servicio conectado a internet, la respuesta práctica es aburrida pero eficaz: rota las credenciales antiguas, instala los parches pendientes y no dejes claves en repositorios públicos. En cualquier otro caso, lee dos veces la expresión «marco de seguridad de la IA». Son políticas voluntarias de una empresa, no leyes, y la propia empresa evalúa si cumple sus obligaciones.
Fuentes
Fuentes: https://openai.com/index/responding-next-frontier-critical-cyber-capabilities/
Suno refuerza los límites de descarga después de que un tribunal alemán falló en contra
El generador de música con IA está limitando las descargas masivas y añadiendo etiquetas de IA, después de que un tribunal de Múnich determinara que estaba entrenado en canciones con derechos de autor y un inversor admitiera que compite con artistas humanos.
