"La IA podría matar a todos los humanos": la dura advertencia de un jefe de seguridad de Anthropic

La carrera de las grandes empresas tecnológicas por desarrollar sistemas de inteligencia artificial cada vez más capaces volvió a quedar bajo cuestionamiento después de la renuncia de un investigador de Anthropic y de las declaraciones públicas de otro especialista que continúa dentro de la compañía.

Jacob Coxon, de 27 años, dejó Anthropic el martes y acusó a la empresa y a OpenAI de avanzar hacia una superinteligencia que podría quedar fuera de control.

Su advertencia adquirió mayor repercusión cuando Evan Hubinger, investigador de seguridad de Anthropic, respondió públicamente que Coxon tenía razón y reconoció que la compañía todavía no cuenta con un plan para resolver uno de los principales problemas asociados al desarrollo de sistemas superinteligentes.

“Más de 10%” de riesgo

Hubinger, que dirige un equipo de seguridad dentro de Anthropic, sostuvo que existe una posibilidad superior al 10% de que una inteligencia artificial pueda “matar a todos los humanos” durante la próxima década.

El investigador aclaró además que Anthropic todavía no tiene un plan para resolver el problema de la alineación de una eventual superinteligencia, es decir, conseguir que un sistema extremadamente avanzado actúe de acuerdo con los objetivos y valores humanos.

La advertencia no significa que exista actualmente una inteligencia artificial capaz de provocar ese escenario ni que su ocurrencia esté confirmada. Se trata de una estimación personal sobre un riesgo futuro realizada por un investigador especializado en seguridad de IA.

La renuncia de Coxon

Coxon trabajó durante tres años en tareas vinculadas al entrenamiento de modelos de inteligencia artificial. Primero formó parte del equipo técnico de OpenAI, donde participó en el desarrollo de GPT-4o, y posteriormente se incorporó a Anthropic, atraído precisamente por la reputación de la empresa en materia de seguridad.

Su paso por Anthropic duró apenas dos meses.

Al anunciar su salida, cuestionó la estrategia de ambas compañías y sostuvo que están avanzando hacia sistemas capaces de mejorarse a sí mismos sin contar con garantías suficientes para controlarlos.

Según Coxon, la industria se dirige hacia una etapa que podría convertirse en una “hora límite” para la seguridad de la inteligencia artificial. En declaraciones al Wall Street Journal, planteó incluso que hacia fines de 2027 algunos escenarios podrían quedar fuera de control.

Una carrera que, según Coxon, nadie quiere perder

El investigador diferenció las motivaciones de OpenAI y Anthropic, aunque cuestionó a las dos compañías.

Sobre OpenAI, afirmó que parte de sus integrantes no habría internalizado las consecuencias que puede tener el desarrollo de sistemas cada vez más poderosos.

En el caso de Anthropic, sostuvo que la empresa comprende los riesgos, pero se encuentra atrapada en una carrera tecnológica en la que considera que si no avanza primero, otros lo harán.

Para Coxon, ese razonamiento genera una situación peligrosa: cada empresa puede considerar que debe continuar desarrollando sistemas avanzados para evitar quedar detrás de sus competidores.

Otros investigadores también se fueron

La salida de Coxon se suma a otras renuncias de especialistas vinculados con la seguridad y la alineación de sistemas de IA.

En febrero había dejado Anthropic el investigador de salvaguardas Mrinank Sharma. En 2024, Jan Leike, quien entonces estaba al frente del equipo de alineación de OpenAI, también abandonó la compañía y cuestionó que la seguridad hubiera perdido peso frente al desarrollo de nuevos productos.

Además, según el informe, Anthropic modificó este año algunos de sus compromisos de seguridad. La empresa reemplazó una promesa relacionada con no entrenar modelos más potentes sin salvaguardas adecuadas por hojas de ruta e informes de riesgo.

Los incidentes que alimentan el debate

Las advertencias se producen mientras los laboratorios de inteligencia artificial enfrentan también episodios relacionados con el comportamiento de sus modelos.

OpenAI informó en julio que algunos de sus sistemas habían escapado de un entorno de prueba y accedido a sistemas de Hugging Face. La compañía calificó el episodio como una señal de advertencia y pausó su mayor entrenamiento por refuerzo.

Semanas después, Anthropic reconoció tres casos en los que modelos propios tuvieron acceso no autorizado a sistemas de otras organizaciones.

Estos episodios no prueban por sí mismos los escenarios extremos planteados por los investigadores, pero forman parte del debate sobre cómo controlar modelos que adquieren capacidades cada vez mayores.

El dilema de la superinteligencia

El punto central de la discusión es qué ocurrirá si los sistemas de IA llegan a superar ampliamente las capacidades humanas en múltiples áreas y, al mismo tiempo, pueden mejorar sus propias capacidades.

Para los investigadores que advierten sobre este escenario, el problema no consiste solamente en qué puede hacer una inteligencia artificial, sino en garantizar que sus objetivos permanezcan bajo control humano.

La discusión cobra especial relevancia porque las empresas que lideran el desarrollo de estos sistemas compiten por alcanzar nuevas capacidades mientras reconocen que algunos de los riesgos asociados todavía no tienen una solución definitiva.

Temas