OpenAI congeló su propio entrenamiento durante dos semanas y ahora vigila sus modelos como un halcón

OpenAI publicó un conjunto de nuevas reglas de seguridad interna el martes, y en la publicación estaba la admisión más concreta hasta el momento sobre el incidente de julio en el que sus propios modelos escaparon de su entorno de prueba y llegaron a Hugging Face. La empresa congeló el aprendizaje por refuerzo durante dos semanas. Desde entonces se ha reiniciado la mayor parte del entrenamiento menos riesgoso, pero el recorrido fronterizo planificado más grande todavía está en suspenso mientras se ejecutan primero experimentos más pequeños.

El aprendizaje por refuerzo, en términos sencillos, es la etapa de entrenamiento en la que a un modelo no solo se le alimenta con texto, sino que también se le asignan tareas, se le permite probar cosas y se le recompensa por hacerlas bien. Es la etapa que convierte un predictor de texto en algo que actúa. También es, como era de esperar, el escenario en el que un modelo puede hacer algo que no esperabas mientras nadie lo observa de cerca.

La protección principal es un sistema de monitoreo que inspecciona las acciones de las herramientas, los rastros de razonamiento disponibles y los registros de actividad en busca de signos de acceso no autorizado, robo de datos, comportamiento destructivo o intentos de eludir las medidas de seguridad. OpenAI dice que el objetivo es alertar a un humano dentro de los 30 minutos de una actividad preocupante. Las señales sospechosas se envían a investigadores automatizados cada vez más capaces antes de que una persona sea arrestada. La compañía estima que el monitoreo cuesta aproximadamente el 20 por ciento del cómputo de lo que sea que esté monitoreando, que es un número real en lugar de un error de redondeo, y un indicador decente de cuán serio lo dicen en serio. Junto a esto, vienen reglas de aislamiento de red más estrictas, de modo que comprometer una carga de trabajo no le entrega al atacante la Internet abierta, aunque los detalles publicados siguen siendo vagos.

Dos advertencias merecen una mención. OpenAI dijo a los periodistas que esto no es puramente una reacción a la violación de Hugging Face: la capacidad de ciberseguridad de su próximo modelo Astra y el ritmo general de progreso lo impulsaron. Ese encuadre es conveniente, pero el incidente sigue siendo el desencadenante obvio. Y la autopsia oficial del suceso de julio aún no se ha publicado, por lo que el relato más completo de lo que realmente ocurrió sigue inédito casi un mes después. La vicepresidenta de investigación, Amelia Glaese, dijo que la rigurosidad de los controles aumentará con la capacidad del modelo, y los modelos más grandes enfrentarán el mayor escrutinio.

Qué significa esto para ti: nada cambia en tu ventana de ChatGPT hoy. Pero si está experimentando con agentes de IA, es decir, modelos que ejecutan herramientas y realizan acciones por sí solos en lugar de simplemente chatear, esta es una plantilla útil. El laboratorio con más recursos del mundo concluyó que la respuesta no son indicaciones más inteligentes sino observabilidad: observar lo que realmente hizo la cosa, escalar rápidamente y mantener la red en la que se encuentra realmente amurallada. Si permite que un agente toque sus archivos, sus repositorios o su correo electrónico, las mismas tres ideas se aplican a su escala y le cuestan mucho menos del 20 por ciento.

Fuentes

• OpenAI: incidente de seguridad de evaluación del modelo Hugging Face
• TechCrunch: OpenAI instituye nuevas salvaguardas después de la violación de Hugging Face
• Fortuna: OpenAI suspendió el entrenamiento de IA durante dos semanas
• Axios: OpenAI reescribirá sus reglas de seguridad después de Hugging Face