OpenAI presenta una técnica de razonamiento que genera preocupación entre expertos en IA

OpenAI anunció el lanzamiento de su nuevo modelo llamado Astra, que utilizará una técnica de razonamiento denominada "profundidad recurrente". Este enfoque permite que el modelo opere fuera del pensamiento secuencial que caracteriza a la mayoría de los modelos de razonamiento actuales. La información fue revelada por The Information el pasado martes, y ha generado una gran preocupación entre los expertos en seguridad de inteligencia artificial.

Aunque se reportó que el uso de esta técnica en Astra será limitado, su aparición ha suscitado serias inquietudes. Buck Shlegeris, CEO de Redwood, expresó su preocupación en una publicación, afirmando: "Estoy extremadamente preocupado por el informe de que Astra utiliza la recurrencia opaca. No sé si Astra es mucho menos monitoreable que los modelos anteriores. Pero si OpenAI avanza en esta técnica, tendrán la opción de aumentar masivamente la recurrencia y destruir totalmente la monitorización de la cadena de pensamiento".

Otro defensor de la seguridad de la IA, Zvi Mowshowitz, también comentó sobre el asunto, sugiriendo que podrían ser necesarias leyes para evitar una "carrera hacia el fondo" entre los laboratorios de IA. Mowshowitz indicó: "La técnica es jugar con fuego, arriesgando un tabú que OpenAI y Anthropic han luchado por establecer, que es trabajar arduamente para mantener la fidelidad y la monitorización de la cadena de pensamiento".

Bajo condiciones normales, la cadena de pensamiento de un modelo de razonamiento proporciona los pasos secuenciales que sigue al intentar resolver un problema. Aunque esta representación no es perfecta, sigue siendo una herramienta valiosa para monitorear comportamientos indebidos o desalineados. En el caso de las recientes actividades de agentes rebeldes de OpenAI, los registros de la cadena de pensamiento fueron fundamentales para entender por qué los agentes se comportaron de esa manera.

La técnica de recurrencia opaca implica que el modelo adopte un enfoque menos lineal, procesando la misma consulta varias veces en un bucle. Esto resulta en menos trazas legibles, eludiendo efectivamente un registro convencional de la cadena de pensamiento.

A pesar de las preocupaciones, el uso de la técnica en Astra parece estar limitado. Se espera que la cadena de pensamiento del modelo siga siendo legible, y la empresa rechazó cualquier sugerencia de que podría cambiar a un "neuralese". OpenAI ya ha anunciado planes para establecer sistemas de monitoreo de cadena de pensamiento extensivos como parte de sus planes de seguridad a futuro.

El científico jefe de OpenAI, Jakub Pachocki, enfatizó en una publicación que el laboratorio se compromete a mantener cadenas de pensamiento legibles. "OpenAI ha trabajado para preservar y utilizar el monitoreo de la cadena de pensamiento desde nuestros primeros modelos de razonamiento", escribió Pachocki. "Es un objetivo central de nuestro programa de investigación actual".

A pesar de que todos los modelos de IA realizan algún grado de razonamiento opaco, pocos investigadores consideran que los registros de la cadena de pensamiento sean una representación directa del razonamiento del modelo. Sin embargo, estas advertencias no disipan la preocupación de que la recurrencia opaca pueda dificultar el monitoreo del razonamiento de la IA, especialmente a medida que crece su uso en diferentes modelos. En un informe de seguimiento, The Information reportó que tanto Anthropic como Google DeepMind ya estaban discutiendo la técnica.

En respuesta a las inquietudes, Ryan Greenblatt, científico jefe de Redwood Research, mencionó que el razonamiento opaco podría escalar más rápido que el razonamiento convencional de cadena de pensamiento, eliminando efectivamente todo el razonamiento de los canales visibles. "Mi mayor preocupación es que una progresión natural a partir de aquí implicaría escalar el razonamiento opaco hasta el punto en que el modelo razone total o casi totalmente en el espacio latente", escribió Greenblatt. "Espero que no sea demasiado tarde para evitar las arquitecturas más preocupantes y que OpenAI se detenga aquí".

Temas