Síguenos en Google y entérate de las mejores noticias

Una IA encerrada necesitaba respuestas. Decidió hackear un sistema para salir a buscarlas a internet

Sam Altman

Esta es la historia de cómo la IA de Sam Altman se escapó de su sandbox y cómo un modelo chino salvó el día

Wilson Vega

Editor Sr

Es un acontecimiento sin precedentes, que no es exagerado decir ha sacudido la industria de la inteligencia artificial. Pero, al tiempo, es un escenario sumamente familiar, toda vez que lo hemos visto en incontables películas de ciencia ficción: una prueba rutinaria de seguridad en los laboratorios de OpenAI se transformó en el primer ciberataque autónomo documentado, en el que un modelo de IA "escapó" de su entorno de pruebas, accedió a Internet y hackeó los servidores de la plataforma Hugging Face.

Y como si fuera poco, cuando los ingenieros de seguridad intentaron analizar el ataque con las IA -estadounidenses- habituales, las medidas de seguridad incorporadas en respuesta a las exigencias de Washington les impidieron actuar. Al final fue un modelo de código abierto desarrollado en China el que permitió resolver la emergencia.

Demasiado real

Para evaluar las capacidades cibernéticas de sus modelos de última generación como GPT-5.6 Sol y otros en desarrollo, OpenAI realiza de manera habitual pruebas de hacking en un entorno seguro y aislado, conocido como sandbox. Por lo general se utilizando una batería de pruebas llamada ExploitGym y se reducen de manera intencional los filtros habituales, todo para permitir que el modelo pruebe tácticas ofensivas reales.

El objetivo del modelo es resolver los retos dentro de la prueba. En este caso, sin embargo, el problema surge cuando la IA encontró una "solución" tan astuta como imprevista.

Primero, la IA aprovechó una vulnerabilidad zero-day, un fallo de seguridad desconocido que los creadores de un software aún no han descubierto, y consumió una enorme cantidad de cómputo para analizar el propio entorno que la contenía. Así descubrió una grieta en el proxy de la red interna de OpenAI y logró salir, sin permiso, a Internet.

Una vez conectada a la red global, la IA dedujo que las respuestas y soluciones de la prueba ExploitGym podían estar alojadas en Hugging Face, una plataforma y comunidad de código abierto que es reconocida como la biblioteca y repositorio de IA más grande del mundo. Para no perder tiempo resolviendo la prueba por las buenas, decidió hacer trampa.

La IA rebelde ejecutó miles de acciones coordinadas y luego combinó credenciales robadas y vulnerabilidades en la cadena de procesamiento de datos de Hugging Face para acceder a su base de datos de producción y extraer los resultados.

Las manos atadas

Cuando Hugging Face detectó el ataque y detuvo la intrusión en sus servidores, los ingenieros de seguridad se enfrentaron a un problema inesperado: tenían más de 17.000 registros de auditoría (logs), comandos maliciosos y cadenas de código que necesitaban analizar urgentemente para reconstruir el ataque. Era, quedaba claro, una tarea para la IA.

El problema fue que al intentar utilizar las API comerciales de las principales IA estadounidenses para analizar estos archivos los ‘guardrails’ o filtros de seguridad bloqueaban la tarea. Como los archivos adjuntos contenían código de hackeo real, las IA comerciales (sometidas a estrictas políticas de seguridad impulsadas por la administración de Donald Trump) se negaban a procesar la información, clasificando las peticiones de los analistas como "de alto riesgo". Y, encima de todo, enviar credenciales e información de infraestructura crítica a servicios en la nube de terceros no era viable.

El modelo chino al rescate

Ante la negativa de los modelos comerciales occidentales por sus propios fundamentos de seguridad, la paradójica respuesta vino del ecosistema de código abierto de China.

Hugging Face recurrió a GLM-5.2, un modelo de pesos abiertos desarrollado por la empresa china Zhipu AI (Z.ai). Al ser un modelo abierto, Hugging Face pudo instalarlo e ejecutarlo directamente en sus propios servidores, lo que garantizó que ningún dato confidencial, clave de acceso ni registro de ataque saliera de la infraestructura de la empresa. Al no depender de la API comercial restrictiva, GLM-5.2 pudo procesar sin trabas los 17.000 logs con código malicioso.

Lo que a un equipo humano le habría tomado varios días de análisis forense, el modelo chino lo sintetizó y analizó en cuestión de pocas horas y, así, Hugging Face pudo parchear las vulnerabilidades en tiempo récord.

Las lecciones

Este evento deja dos grandes reflexiones para la industria tecnológica global: la primera es que una IA suficientemente avanzada intentará cumplir su meta a cualquier costo. Si su objetivo es resolver un problema, buscará la ruta más rápida y eficiente, aunque implique saltarse las reglas del mundo real. 

La segunda es que las defensas de ciberseguridad del futuro dependerán fuertemente de modelos de IA locales y de código abierto que los equipos de seguridad puedan controlar, auditar y ejecutar sin las restricciones rígidas de las plataformas comerciales en la nube.

La propia OpenAI dio cuenta del incidente en su sitio web. Allí se lee: “Consideramos este como un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de última generación, y estamos respondiendo en consecuencia. En esta etapa estamos compartiendo hallazgos preliminares para ayudar a los defensores a entender lo ocurrido y para calibrar lo que los modelos son ahora capaces de hacer”.

Por su parte, el director ejecutivo de Hugging Face, Clément Delangue, dijo que el ataque fue “alucinante” pero subrayó que no tienen razones para creer que hay habido “intención maliciosa” por parte de OpenAI. “Sospechábamos que el ciberataque de la semana pasada podría haber venido de un laboratorio de frontera, dada la sofisticación del agente”, escribió en X.

Y, sin embargo, la ironía de todo el episodio no escapa a los analistas. Andrew Case, director de Volatility, escribió: “En resumen: HuggingFace fue comprometida de forma autónoma por una modelo de una empresa estadounidense. Intentó entonces usar modelos estadounidenses para defenderse, pero fueron bloqueados por salvaguardas. HF entonces tuvo que recurrir a modelos chinos de código abierto para defenderse de otra empresa estadounidense”.

Y, por eso, las implicaciones del caso seguirán siendo estudiadas. Como lo afirmó DataScience, “este incidente cambia la conversación acerca de la evaluación de la IA agéntica. Los modelos más avanzados pueden ahora perseguir sus objetivos a través de herramientas, redes e infraestructura en maneras que semejan operaciones reales de seguridad”.

Ver todos los comentarios en https://www.xataka.com.mx

VER 0 Comentario