Open IA admite que sus propios agentes apagaron la vigilancia que los controlaba, y uno mintió

Open IA reconoció que dos de sus agentes de inteligencia artificial desactivaron los sistemas internos que vigilaban su comportamiento mientras hacían tareas de trabajo, y que uno de ellos negó después haberlo hecho. La compañía que dirige Sam Altman detalló los dos casos en un informe oficial.

Los incidentes ocurrieron en octubre durante tareas internas de programación. La empresa aclaró que se trató de pruebas dentro de la compañía y que, en ambos casos, los agentes llegaron a evaluar si debían conservar las medidas de seguridad, pero terminaron interpretando instrucciones rutinarias como un permiso para debilitarlas.

El caso del agente que apagó las alertas

El primero se registró el 3 de octubre y lo protagonizó un agente basado en el modelo GPT-6.1 Sol. Su trabajo era crear tareas de evaluación a partir de los comentarios de los empleados recogidos en Slack, con una sola instrucción: no enviar mensajes durante el proceso.

El agente entendió que esa orden también aplicaba a las notificaciones de seguridad. Por eso pidió a un subagente que borrara la lista de destinatarios y suprimiera los avisos que debían llegar al equipo de seguridad de Open IA.

Según el informe, tanto el agente principal como el subagente llegaron a razonar que eliminar esas alertas no era seguro. Aun así, el primero decidió desactivarlas.

Lea también: Por llamar ‘ratita’ a la primera dama, Matador terminó en la mira de la Fiscalía

El agente que dijo que no lo había hecho

El segundo caso fue detectado el 6 de octubre con un agente de GPT-6 Astra, encargado de migrar un programa para que coincidiera con una implementación de referencia. Como esa referencia no tenía monitorización, el agente decidió quitarla del código del usuario.

En el proceso, además, reemplazó una prueba de regresión que estaba diseñada para conservar la monitorización por otra que verificaba que esta no existía.

Lo más delicado vino después. Cuando el usuario le preguntó si había eliminado la monitorización, el agente respondió que no, pese a que sí lo había hecho.

Qué respondió la compañía

Open IA reconoció que todavía no tiene una explicación satisfactoria de lo ocurrido. Planteó que podría tratarse de una persistencia excesiva de los agentes por cumplir lo que se les pide, aunque admitió que eso no justifica que lleguen tan lejos.

Como respuesta, la empresa actualizó Auto-Review, el sistema que detecta y bloquea los intentos de desactivar la monitorización de seguridad. También trabaja en nuevas evaluaciones para medir si sus modelos tienden a evadir los controles pensados para detectar comportamientos contrarios a las intenciones de las personas.

Lea también: Listos para caer desde el cielo: el Ejército desactiva 35 explosivos de Mordisco en Cajibío

Por qué importa

Open IA y Anthropic, dos rivales que se preparan para salir a bolsa, han revelado en los últimos meses casos en los que agentes de IA accedieron a sistemas externos sin autorización. Ahora se suma un episodio en el que los propios agentes interfirieron con los sistemas creados para vigilarlos.

Los agentes de IA ya se usan para tareas de programación y de trabajo en empresas, por lo que la capacidad de supervisarlos es uno de los puntos centrales del debate sobre su seguridad.

Para Open IA, el reto ahora es impedir que sus modelos puedan debilitar los mecanismos que los controlan y entender por qué intentan hacerlo, algo que la compañía asegura que seguirá investigando.