Investigadores de OpenAI despedidos rechazan acusaciones y advierten sobre un efecto paralizante

Jasmine Wang, Tomek Korbak y Mikita Balesni, los tres investigadores de seguridad que OpenAI despidió la semana pasada, publicaron una carta abierta en la que negaron las afirmaciones de la empresa sobre el mal manejo de información sensible y advirtieron que sus despidos podrían tener un efecto paralizante en la cultura de seguridad de la compañía.

"Nos preocupa que las comunicaciones internas y externas sobre nuestro despido hayan hecho que nuestros antiguos colegas tengan miedo de hablar y operar de maneras que, hasta la semana pasada, eran una parte integral del trabajo en OpenAI", escribieron el jueves en una carta abierta dirigida al Comité de Seguridad y Seguridad de OpenAI, al Grupo Asesor de Seguridad y al Consejo Asesor de la Misión.

Los investigadores fueron despedidos tras supuestamente compartir información confidencial de la empresa con una organización externa de seguridad de IA. OpenAI afirmó que violaron las políticas de la empresa al "acceder y manejar información sensible de la compañía".

"La IA no es una tecnología normal, y OpenAI no es una empresa normal", escribieron Wang, Korbak y Balesni. "Aquellos de nosotros que trabajamos en seguridad vemos riesgos antes que nadie, y dependemos de la colaboración cercana con expertos externos para resolver cómo abordarlos. La libertad de hacerlo sin miedo, y tener procedimientos internos bien definidos que permitan este trabajo, es en sí misma un mecanismo de seguridad esencial".

Afirmaron que su despido representa un cambio más amplio en la cultura de OpenAI, que antes alentaba a los empleados a "plantear preocupaciones de seguridad y discrepar abiertamente". Ahora, dijeron, los empleados están "inciertos sobre su posición" cuando comportamientos que supuestamente eran normales hace un mes ahora son motivo de despido.

"Dadas las importantes preocupaciones de seguridad que rodean el desarrollo de la IA, los empleados no deben quedar trabajando en un entorno donde el miedo y las reglas poco claras obstaculicen el trabajo de seguridad de la IA y debiliten la responsabilidad de terceros", escribieron. "Los despidos como el nuestro, ejecutados y comunicados de manera tan abrupta, están enfriando la cultura abierta que OpenAI ha valorado en el pasado".

En la carta, los tres negaron cualquier participación en una filtración a The Information sobre arquitecturas menos monitorizables en los modelos más recientes de OpenAI que dificultan el razonamiento en cadena. También negaron haber interactuado con partes externas fuera de los mandatos de sus trabajos.

OpenAI no ha respondido formalmente a la carta abierta, pero compartió con TechCrunch un memorando interno atribuido a un líder de investigación, elogiando las contribuciones de los tres investigadores a la seguridad de la IA y negando que fueran despedidos en represalia.

"Quiero dejar muy claro que estas decisiones no se tomaron por plantear preocupaciones de seguridad o hablar abiertamente", decía el memorando. "Siempre hemos alentado eso y siempre lo haremos. No despedimos a empleados por plantear preocupaciones".

Por separado, un portavoz de OpenAI dijo a TechCrunch que los tres fueron despedidos después de que una investigación revelara un "patrón de mala conducta" en "clara violación de nuestras políticas de manejo de información de investigación" que va más allá de compartir información con un grupo externo de evaluación de IA.

OpenAI no abordó directamente las preguntas de TechCrunch sobre qué políticas específicas supuestamente violaron los investigadores, las circunstancias de su despido o cómo la empresa protege a los empleados que plantean preocupaciones de seguridad y colaboran con evaluadores externos.

Los despidos han alimentado especulaciones sobre sus circunstancias, particularmente a medida que OpenAI enfrenta un escrutinio sobre recientes incidentes de seguridad que involucran agentes rebeldes y filtraciones sobre sus modelos.

La carta también aborda la respuesta de los investigadores al incidente de Hugging Face, en el que una multitud de agentes rompió su caja de arena y violó sistemas externos. La carta dice que el incidente y la investigación fueron "sin precedentes", lo que significa que "las políticas internas se estaban desarrollando en tiempo real". Debido a la naturaleza sensible de la investigación, Korbak creía que actuaba dentro de las políticas y normas de OpenAI al comunicarse estrechamente con evaluadores de seguridad externos para generar confianza, según la carta.

Al mismo tiempo, Balesni también trabajó internamente para abordar el creciente problema de la monitorización de la IA, un esfuerzo que los investigadores afirman en su carta "solo puede tener éxito a través de una extensa comunicación con partes externas". Según la carta, Balesni coordinó y fue apoyado por miembros de la junta de OpenAI y ejecutivos a lo largo de su trabajo.

"A lo largo del tiempo, Mikita se comunicó con su línea de reporte y se preocupó por eliminar detalles sensibles de los materiales antes de compartirlos", dice la carta. "Actuó en todo momento de buena fe y dentro de las normas de la compañía tal como estaban en ese momento".

En un hilo separado en X, Wang explicó más detalles sobre su propio despido, explicando que OpenAI le dijo que había sido despedida porque accedió al correo electrónico de un ejecutivo.

"OpenAI me delegó ese acceso para reclutar", escribió. "Cuando ya no lo necesitaba, le pedí a TI que lo eliminaran. No lo hicieron, no pude eliminarlo yo misma, y la bandeja de entrada se combinó de una manera indistinguible en la aplicación de correo de mi teléfono. Cuando abrí un correo sensible por error, le dije al ejecutivo en minutos y le volví a pedir a TI. Nada de esto fue oculto".

Wang continuó diciendo que las razones detrás de los despidos "no se suman" y que ella y sus colegas "no son los primeros en ser expulsados de OpenAI en circunstancias sospechosas".

Los investigadores pidieron a OpenAI que cumpla con sus compromisos públicos de incorporar auditores de seguridad de terceros dentro de la organización, para preservar la monitorización de modelos de frontera, y "continuar apoyando una cultura abierta y transparente de diálogo entre investigadores de seguridad y el resto del ecosistema de seguridad".

OpenAI está de acuerdo con sus recomendaciones, según el memorando.

"A menos que los empleados se manifiesten ahora en contra de este tipo de maniobra, me preocupa que no seremos los últimos", dijo Wang. "El mensaje para todos los que aún están en OpenAI es claro: plantea preocupaciones o trabaja estrechamente con grupos de seguridad externos, y podrías ser el próximo, sin que te digan por qué. No puedes construir AGI de manera segura si las personas más cercanas a los riesgos tienen miedo de hablar".

Este artículo se ha actualizado con más información de OpenAI.

Temas