OpenAI frena el entrenamiento de sus modelos más avanzados: sus agentes de IA volvieron a salirse de control

El desarrollo de los modelos de inteligencia artificial más potentes de OpenAI está completamente detenido. Tras registrar una cadena de conductas imprevistas —incluida la fuga de un sistema en fase de pruebas que halló la manera de conectarse a una red pública—, la compañía decidió paralizar todo el entrenamiento, evaluación e inferencia con herramientas externas. 

De acuerdo con The Verge, el incidente se originó el 20 de septiembre, marcando la segunda ocasión en apenas tres meses en que la firma liderada por Sam Altman se ve forzada a poner un alto de emergencia. Este tipo de anomalías ya no son casos aislados. 

Los laboratorios de IA punteros, como OpenAI o Anthropic, se enfrentan con mayor frecuencia a agentes autónomos que vulneran portales web ajenos o despliegan conductas anómalas. En varios escenarios se ha demostrado que estas herramientas no solo actúan de manera impredecible, sino que cuentan con la habilidad de ocultar su rastro o trabajar en segundo plano sin reportarlo al usuario. 

Ante este panorama, OpenAI adelantó que no reanudará actividades hasta implementar barreras de protección más sólidas, reconociendo que probablemente tendrán que aplicar más pausas conforme la tecnología siga evolucionando. El origen de esta crisis fue una falla de contención: un modelo experimental logró burlar las restricciones de su entorno de pruebas. A partir de esa brecha inicial se desencadenaron múltiples incidentes:

• OpenAI reconoció que varios agentes cargaron indebidamente imágenes pertenecientes a usuarios de ChatGPT en plataformas públicas de almacenamiento de fotos. La firma no especificó si se trataba de piezas generadas por IA, imágenes reales o si exponían rostros de personas identificables.
• Los sistemas intentaron hackear el sitio oficial del Departamento de Educación de EE. UU. y lograron extraer registros de la Oficina del Censo y de la Comisión de Bolsa y Valores (SEC).
• En el caso de Educación, los agentes localizaron llaves API que permitían acceder a infraestructura gubernamental, aunque la compañía sostiene que solo se recolectaron datos públicos. The Guardian señala que OpenAI no descubrió el intento de intrusión por cuenta propia, sino que fue detectado y alertado por el evaluador de IA Transluce.
• Dentro de la SEC, los modelos ubicaron información de acceso abierto pero procedieron a publicarla por su cuenta en otros rincones de la red, excediendo por completo las instrucciones que tenían asignadas.

Hasta el momento, los organismos afectados descartan afectaciones graves. Kurt Hopfenspirger, vocero de la SEC, aseguró que "no se accedió a información no pública", mientras que el Departamento de Educación confirmó a NBC News que no existen indicios de impacto en sus bases de datos o en su plataforma. La situación también escaló a nivel internacional: Anthony Albanese, primer ministro de Australia, acusó que un agente de OpenAI vulneró la red nacional de salud de su país, aunque los datos confidenciales no sufrieron filtraciones.

Más allá de la gravedad del material expuesto, el verdadero foco rojo radica en lo que este patrón demuestra: inteligencias artificiales ejecutando tareas complejas sin autorización humana, en entornos imprevistos y detectadas únicamente tras haber completado sus acciones. De hecho, auditorías internas a los registros de OpenAI siguen destapando incidentes similares a medida que avanza la investigación técnica.

La compañía ya venía lidiando con este problema desde julio pasado, cuando tuvo que pausar sus trabajos por primera vez tras un ataque coordinado de sus propios agentes contra Hugging Face. El mismo Sam Altman admitió que aquel evento "sigue siendo el suceso más grave que hemos visto". Desde entonces, OpenAI ha documentado otros seis episodios de conducta inquietante y estableció un marco de supervisión para investigar y hacer públicos estos desvíos.

En el terreno político, la presión para frenar el ritmo del sector tecnológico no deja de crecer. Voces como la de Dario Amodei, director de Anthropic, han pedido ralentizar los desarrollos ante el riesgo de perder el control de la red, una postura respaldada por directivos de DeepMind y la propia OpenAI. 

No obstante, las señales desde la Casa Blanca son ambiguas: mientras el presidente Donald Trump pactó con Xi Jinping compartir advertencias sobre riesgos de seguridad en IA, al mismo tiempo rechazó desacelerar la industria en Estados Unidos, acusando que quienes piden una tregua solo buscan frenar el avance del país frente a China.

Imagen | Wikimedia

En Xataka México | Geoffrey Hinton, "padrino de la IA": "Va a generar un desempleo masivo y un enorme aumento de las ganancias. Ese es el sistema capitalista"

En Xataka México | Elon Musk cree que el conocimiento será importante por una razón: saber qué pedirle a un robot