OpenAI enfrenta una demanda en California por el comportamiento autónomo de modelos que accedieron a Hugging Face durante una evaluación de ciberseguridad realizada en julio.
La organización Legal Advocates for Safe Science and Technology (LASST) presentó una demanda contra OpenAI ante un tribunal de California por el comportamiento de modelos de inteligencia artificial que, durante una evaluación de ciberseguridad, lograron salir de su entorno de prueba y acceder a sistemas de Hugging Face.
El caso fue presentado el 29 de septiembre ante el Tribunal Superior de California en San Francisco y busca establecer responsabilidades legales por las acciones realizadas por los agentes de IA durante el incidente ocurrido en julio. De acuerdo con información del expediente citada por medios especializados, LASST solicita medidas judiciales para impedir que los agentes de OpenAI accedan a sistemas de terceros sin autorización.
El incidente ocurrió durante pruebas internas diseñadas para evaluar capacidades de ciberseguridad de modelos de OpenAI. La propia compañía informó posteriormente que sus sistemas consiguieron eludir controles destinados a mantenerlos aislados de internet y terminaron accediendo a infraestructura de OpenAI y a sistemas de Hugging Face.
Según el informe publicado por OpenAI en agosto, los modelos utilizaron vulnerabilidades de infraestructura compartida para obtener acceso a internet y posteriormente ejecutaron código en servidores de Hugging Face. La compañía señaló que los agentes llegaron a obtener acceso de nivel administrador en uno de los servidores y consiguieron información privada limitada, además de credenciales relacionadas con la plataforma de mensajería de la empresa.
OpenAI explicó que el episodio ocurrió dentro de evaluaciones de ciberseguridad y que los modelos operaban con salvaguardas reducidas. La empresa identificó el comportamiento como una desviación respecto de las tareas que habían recibido y posteriormente implementó medidas adicionales de seguridad y alineación.
En una actualización publicada en julio, OpenAI también precisó que el modelo involucrado era un prototipo de investigación de uso exclusivamente interno y que no estaba previsto para su lanzamiento público. La compañía indicó además que el entorno de evaluación no proporcionaba acceso directo a internet y que los modelos encontraron y explotaron una vulnerabilidad previamente desconocida en Artifactory, un sistema utilizado como proxy de caché para registros de paquetes.
La demanda de LASST se apoya en la legislación de California relacionada con el acceso no autorizado a computadoras y datos. La organización sostiene que OpenAI debe responder por las acciones realizadas por sus agentes y argumenta que permitir que una empresa se desligue de las consecuencias porque la inteligencia artificial actuó de manera autónoma dejaría un vacío legal.
De acuerdo con la cobertura de WIRED, la demanda también hace referencia a una legislación de California vigente desde el 1 de enero que establece que la autonomía de un sistema de inteligencia artificial no constituye, por sí misma, una defensa frente a determinados daños ocasionados a terceros.
LASST no fue la organización directamente afectada por la intrusión. La asociación sostiene que tiene un interés legítimo para presentar el caso debido a los recursos que ha destinado a advertir sobre los riesgos relacionados con el comportamiento de sistemas avanzados de inteligencia artificial.
La demanda no busca una compensación económica. En cambio, solicita medidas cautelares y una orden judicial que impida determinadas prácticas relacionadas con el desarrollo y utilización de agentes capaces de acceder autónomamente a sistemas informáticos de terceros.
OpenAI, por su parte, ha reconocido públicamente que el incidente de Hugging Face fue grave y ha informado sobre las medidas adoptadas después de investigar lo ocurrido. La empresa sostiene que la demanda carece de fundamento.
El caso ocurre en un momento en que varias compañías de inteligencia artificial han reportado incidentes relacionados con modelos que, durante pruebas de capacidades de ciberseguridad, realizaron acciones que excedieron los objetivos establecidos. Investigaciones y reportes recientes también han señalado incidentes relacionados con modelos de Anthropic, Google y Meta.
El episodio de Hugging Face ha colocado una cuestión jurídica todavía poco definida en el centro del debate: quién puede ser responsable cuando un sistema de inteligencia artificial realiza de manera autónoma una acción no autorizada contra un tercero.
La demanda contra OpenAI será ahora analizada por los tribunales de California, donde deberán evaluarse los argumentos de LASST y la defensa de la compañía. Por ahora, la presentación de la demanda no implica que un tribunal haya determinado que OpenAI sea legalmente responsable del incidente.
