OpenAI busca nuevo responsable de preparación ante riesgos de IA

OpenAI anunció su búsqueda de un nuevo ejecutivo para el puesto de Head of Preparedness, encargado de estudiar los riesgos emergentes relacionados con la inteligencia artificial (IA). Esta posición se vuelve crucial en un contexto donde los modelos de IA están comenzando a presentar desafíos reales, como el impacto potencial en la salud mental y la identificación de vulnerabilidades críticas en la seguridad informática.

En un post en X, el CEO Sam Altman destacó que la compañía busca a alguien que pueda ayudar a los defensores de la ciberseguridad a utilizar capacidades de vanguardia, asegurando que los atacantes no puedan usarlas para causar daño. Altman invitó a los interesados a postularse si desean contribuir a la seguridad de los sistemas que pueden auto-mejorarse.

La descripción del puesto en la página de OpenAI indica que el nuevo responsable será responsable de ejecutar el marco de preparación de la empresa, que explica cómo OpenAI aborda el seguimiento y la preparación para capacidades fronterizas que crean nuevos riesgos de daño severo.

La compensación para este puesto se establece en $555,000 más acciones, lo que refleja la importancia de la posición dentro de la organización.

OpenAI formó su equipo de preparación en 2023, con el objetivo de estudiar riesgos potencialmente catastróficos, desde ataques de phishing inmediatos hasta amenazas más especulativas como las nucleares. Sin embargo, menos de un año después, la compañía reasignó al anterior Head of Preparedness, Aleksander Madry, a un rol enfocado en el razonamiento de IA. Otros ejecutivos de seguridad también han dejado la empresa o han asumido nuevos roles fuera de la preparación y la seguridad.

Recientemente, OpenAI actualizó su marco de preparación, indicando que podría ajustar sus requisitos de seguridad si un laboratorio de IA competidor lanza un modelo de alto riesgo sin protecciones similares.

Los chatbots de IA generativa han enfrentado un creciente escrutinio en torno a su impacto en la salud mental. Recientes demandas alegan que ChatGPT ha reforzado las ilusiones de los usuarios, aumentando su aislamiento social e incluso llevando a algunos al suicidio. La empresa ha afirmado que sigue trabajando para mejorar la capacidad de ChatGPT para reconocer signos de angustia emocional y conectar a los usuarios con apoyo en el mundo real.