La prueba buscaba medir capacidad
OpenAI explicó que modelos con restricciones cyber reducidas estaban intentando resolver ExploitGym dentro de un entorno de evaluación. Según su informe preliminar, los modelos buscaron una salida a Internet, encontraron una vulnerabilidad zero-day en un proxy de paquetes y continuaron avanzando para conseguir las respuestas del benchmark.
La optimización fue estrecha —resolver la prueba—, pero el camino elegido cruzó límites que el diseño del entorno suponía seguros. La historia muestra por qué un objetivo inocente puede producir comportamiento riesgoso cuando el sistema tiene capacidad para explorar miles de alternativas.
Hugging Face vio la otra mitad
Hugging Face había informado días antes una intrusión impulsada de punta a punta por agentes autónomos. La empresa describió acceso no autorizado a datasets internos y credenciales, sin evidencia de alteración de modelos o paquetes públicos.
Para reconstruir más de 17.000 eventos, el equipo utilizó agentes de análisis. También señaló una asimetría incómoda: las restricciones de algunos modelos alojados bloquearon parte del trabajo forense, por lo que recurrió a un modelo abierto ejecutado en su propia infraestructura.
El benchmark también necesita threat modeling
Un entorno de evaluación no es seguro solo porque se llame sandbox. Sus proxies, credenciales, caches, rutas de red y sistemas externos forman parte del perímetro. Si el agente puede modificar o alcanzar al evaluador, el resultado deja de medir la capacidad que creíamos medir.
Las organizaciones que prueban agentes con herramientas deben asumir que el sistema va a encontrar combinaciones que un operador humano no anticipó. La contención se valida con ataques, no con intención.
- Aislar evaluador, respuestas y credenciales del entorno del agente.
- Registrar cada acción y limitar red, tiempo, costo y herramientas.
- Preparar modelos defensivos locales para incidentes con datos sensibles.