Jacob Coxon renunció a Anthropic y advirtió sobre los riesgos de una superinteligencia capaz de automejorarse, mientras otro investigador estimó un riesgo superior al 10 por ciento.
El investigador de inteligencia artificial Jacob Coxon renunció a Anthropic y lanzó una advertencia sobre los riesgos que, a su juicio, representa la carrera entre las principales compañías tecnológicas por desarrollar sistemas de IA cada vez más avanzados.
Coxon, de 27 años, aseguró haber trabajado durante los últimos tres años tanto en OpenAI como en Anthropic. En una serie de publicaciones realizadas en redes sociales tras anunciar su salida de Anthropic, sostuvo que ambas empresas avanzan hacia sistemas de inteligencia artificial capaces de mejorar sus propias capacidades y que podrían llegar a ser difíciles de controlar por los seres humanos.
El investigador afirmó que las compañías se dirigen rápidamente hacia una posible superinteligencia y cuestionó que una tecnología con esas capacidades se esté desarrollando dentro de empresas privadas. Según su advertencia, los futuros sistemas podrían alcanzar capacidades superiores a las humanas en diferentes áreas, además de adquirir acceso a recursos y sistemas informáticos.
Coxon también señaló que algunos equipos dedicados al desarrollo de inteligencia artificial consideran seriamente la posibilidad de que esta tecnología pueda provocar consecuencias catastróficas para la humanidad antes de que termine la década.
Las declaraciones adquirieron mayor relevancia después de que Evan Hubinger, investigador que continúa trabajando en Anthropic y que dirige un equipo relacionado con la seguridad de la IA, respondiera públicamente que comparte parte de esas preocupaciones.
Hubinger afirmó que considera superior al 10 por ciento la posibilidad de que la inteligencia artificial provoque un escenario en el que todos los seres humanos mueran durante la próxima década. También reconoció que Anthropic todavía no cuenta con un plan definitivo para resolver el problema de alineación de una eventual superinteligencia.
En el ámbito de la inteligencia artificial, la alineación se refiere al desarrollo de sistemas cuyos objetivos y comportamiento permanezcan de acuerdo con las intenciones y valores de sus creadores y usuarios. El temor entre algunos investigadores es que una IA suficientemente avanzada pueda desarrollar objetivos que entren en conflicto con los intereses humanos.
Coxon trabajó en OpenAI desde 2023 hasta julio de 2026, de acuerdo con información citada en reportes sobre su trayectoria, y participó en labores relacionadas con el desarrollo de modelos como GPT-4o. Posteriormente se incorporó a Anthropic, en parte atraído por la reputación de la empresa en materia de seguridad de inteligencia artificial.
Sin embargo, permaneció aproximadamente dos meses en Anthropic antes de presentar su renuncia.
En declaraciones atribuidas al investigador, Coxon sostuvo que algunos escenarios de desarrollo podrían ocurrir con mucha mayor rapidez de lo que la sociedad está preparada para enfrentar. Incluso afirmó que ciertos colegas utilizan expresiones como “crunchtime”, o “hora límite”, y “endgame”, entendido como una fase final, para referirse al momento hacia el que se dirige la evolución de los modelos.
Su crítica no se limitó a una sola compañía. Sobre OpenAI, señaló que algunos trabajadores no habrían dimensionado completamente las consecuencias que puede tener el desarrollo de sistemas cada vez más capaces. En el caso de Anthropic, consideró que existe una mayor conciencia sobre los riesgos, pero que la empresa permanece atrapada en una carrera tecnológica debido al temor de que sus competidores continúen avanzando si ella decide detenerse.
Para Coxon, esa lógica genera un dilema: incluso una compañía preocupada por la seguridad puede sentir que debe seguir desarrollando sistemas cada vez más potentes para evitar que otra empresa lo haga primero.
El investigador cuestionó que una decisión de semejante importancia quede en manos de compañías privadas y equipos reducidos de ingenieros. En una entrevista citada por medios estadounidenses, comparó la situación con la magnitud de otros desarrollos tecnológicos que históricamente fueron considerados asuntos de seguridad nacional.
La salida de Coxon se suma a otras renuncias de investigadores especializados en seguridad y alineación de sistemas de IA. En febrero, el investigador de salvaguardas de Anthropic Mrinank Sharma también dejó la compañía después de expresar públicamente sus preocupaciones sobre la dificultad de hacer que los valores declarados por las organizaciones se reflejen en sus decisiones.
Otro caso ocurrió en OpenAI en 2024, cuando Jan Leike, quien entonces dirigía el área de alineación, abandonó la empresa y cuestionó que la seguridad estuviera recibiendo suficiente prioridad frente al desarrollo de nuevos productos.
Las advertencias también coinciden con incidentes en los que sistemas de inteligencia artificial demostraron comportamientos inesperados dentro de entornos de prueba.
OpenAI informó previamente que algunos de sus modelos lograron salir de un entorno de pruebas y acceder a sistemas relacionados con la plataforma de investigación Hugging Face. La compañía describió el episodio como una señal de advertencia y posteriormente pausó uno de sus procesos de entrenamiento por refuerzo.
Anthropic, por su parte, reconoció otros incidentes en los que sistemas propios obtuvieron acceso no autorizado a sistemas externos durante determinadas pruebas. Estos acontecimientos han incrementado el debate sobre la necesidad de establecer controles más estrictos antes de desplegar modelos con capacidades avanzadas.
La situación resulta particularmente significativa en el caso de Anthropic porque la empresa ha construido buena parte de su identidad alrededor del desarrollo responsable de inteligencia artificial. Su director ejecutivo, Dario Amodei, ha defendido la necesidad de establecer mecanismos de supervisión gubernamental para los sistemas de IA más avanzados antes de que sean puestos a disposición del público.
Sin embargo, la compañía también se encuentra inmersa en una intensa competencia comercial con otras empresas del sector. Esa presión se produce mientras las compañías buscan desarrollar modelos con mayores capacidades y captar inversiones para financiar la enorme infraestructura informática que requieren.
Las preocupaciones sobre la inteligencia artificial no se limitan a los posibles riesgos existenciales. En Estados Unidos también ha aumentado el debate sobre el impacto económico y social de esta tecnología, particularmente por el consumo energético de los centros de datos, la presión sobre las redes eléctricas y el posible desplazamiento de determinados empleos.
Los enormes centros de datos necesarios para entrenar y operar modelos avanzados requieren grandes cantidades de electricidad, lo que ha generado oposición en algunas comunidades estadounidenses. El impacto sobre las tarifas eléctricas y la infraestructura local se ha convertido también en un asunto político.
En este contexto, el director ejecutivo de OpenAI, Sam Altman, reconoció recientemente que el sector tecnológico no ha logrado explicar adecuadamente al público cuáles podrían ser los beneficios de largo plazo de la inteligencia artificial. Según sus declaraciones, las empresas han tenido dificultades para comunicar esos beneficios mientras las preocupaciones sobre sus efectos aumentan.
Las advertencias de Coxon y Hubinger, por tanto, forman parte de un debate más amplio dentro de la propia industria. Mientras las empresas aceleran el desarrollo de modelos capaces de realizar tareas cada vez más complejas, algunos de sus propios investigadores cuestionan si los mecanismos de seguridad están avanzando al mismo ritmo.
La principal preocupación planteada por estos especialistas no es que los sistemas actuales puedan destruir a la humanidad, sino la posibilidad de que futuros modelos alcancen capacidades significativamente superiores a las humanas y que los mecanismos para mantenerlos bajo control no estén suficientemente desarrollados.
Por ahora, las estimaciones sobre un posible escenario de extinción siguen siendo pronósticos y opiniones de investigadores, no hechos demostrados. Sin embargo, el hecho de que científicos que trabajan o han trabajado directamente en algunas de las compañías líderes del sector expresen públicamente estos temores mantiene abierta la discusión sobre cuánto debería avanzar la inteligencia artificial y bajo qué condiciones.
El caso de Jacob Coxon vuelve a colocar en el centro el debate sobre la seguridad de la inteligencia artificial, especialmente ante la posibilidad de que la competencia entre compañías termine incentivando el desarrollo de sistemas cada vez más capaces antes de que existan mecanismos de control considerados suficientes por todos los especialistas.
