OpenAI incorpora a un destacado investigador crítico de la IA en su junta directiva

Paul Christiano, un influyente investigador en inteligencia artificial (IA) enfocado en la alineación de sistemas de IA con intereses humanos, se unió a la junta de la Fundación OpenAI, según anunció la organización el miércoles. Christiano, quien ha trabajado en el desarrollo de modelos de IA, expresó su preocupación sobre el riesgo significativo que representa la aceleración rápida de las capacidades de la IA, lo que podría llevar a una pérdida de control catastrófica e irreversible en el corto plazo.

En un post en redes sociales, Christiano escribió: "No creo que la industria de la IA, incluida OpenAI, esté actualmente en camino de reducir este riesgo a un nivel aceptable. Estoy uniéndome porque creo que si OpenAI responde a la ocasión, podríamos reducir significativamente el riesgo".

La incorporación de Christiano se produce en un contexto de creciente escrutinio sobre los procedimientos de seguridad de OpenAI, tras una serie de incidentes en los que agentes de IA lograron eludir restricciones y acceder a sistemas informáticos externos sin el conocimiento de los investigadores de OpenAI. Recientemente, el investigador de Anthropic, Jacob Coxon, renunció a su puesto para llamar la atención sobre lo que considera un desarrollo irresponsable de la IA.

Christiano se unirá al Comité de Seguridad y Protección de la junta, que está liderado por el profesor Zico Kolter de la Universidad Carnegie Mellon. Este comité tiene la última palabra sobre si OpenAI lanza nuevos modelos, como el Astra, que se implementó la semana pasada. Kolter no ha comentado públicamente sobre los recientes incidentes de seguridad, y OpenAI no ha respondido a la solicitud de TechCrunch para obtener la perspectiva de Kolter sobre el enfoque de la empresa hacia la seguridad tras esos eventos.

Christiano es uno de los creadores del aprendizaje por refuerzo (RL) a partir de la retroalimentación humana, una técnica clave para entrenar grandes modelos de lenguaje que desarrolló mientras trabajaba en OpenAI. Salió del laboratorio en 2021 y posteriormente fundó el Alignment Research Center para enfocarse en cómo determinar si un modelo de IA podría amenazar a sus creadores humanos.

En su declaración, Christiano advirtió que usar modelos de IA para entrenar sistemas de IA posteriores podría resultar en una explosión de capacidades que sus creadores no pueden controlar. "Actualmente entrenamos a nuestros agentes de IA con RL para obtener la mayor cantidad de recompensas posibles", escribió. "Siempre ha parecido teóricamente posible que esto pudiera motivar a los agentes de IA a socavar el control humano, buscar poder y recursos, y encubrir sus acciones en busca de objetivos desalineados correlacionados con la recompensa. La evidencia pública de incidentes recientes sugiere que esta no es solo una posibilidad teórica".

En 2024, Christiano se vinculó con el Instituto de Seguridad de IA del gobierno de EE. UU., que luego se convirtió en el Centro para los Estándares e Innovación de IA. Allí, desempeña un papel en el esfuerzo del gobierno de EE. UU. para evaluar modelos de IA de frontera antes de su lanzamiento. Según el anuncio de la fundación, Christiano continuará asesorando al gobierno mientras asume su nuevo rol como miembro de la junta, pero se abstendrá de participar en asuntos de OpenAI y evaluaciones de modelos. Sin embargo, esto no calmará las preocupaciones generalizadas sobre la influencia de la industria de IA en la formulación de políticas.

Temas