Investigador de Anthropic revela avances en inteligencia artificial auto-mejorada
Un nuevo estudio de Anthropic muestra cómo sus sistemas automatizados mejoraron el rendimiento en 10 comportamientos desalineados sin afectar la eficacia general. Este avance podría revolucionar el campo de la IA.
FOTO: Investigador de Anthropic
Un investigador del programa de becas de Anthropic presentó recientemente un adelanto sobre el desarrollo de inteligencia artificial (IA) auto-mejorada. El estudio, publicado el pasado viernes, se titula "Los investigadores automatizados pueden mitigar de manera confiable fallos de alineación" y describe cómo los sistemas de IA pueden mejorar de manera consistente su rendimiento en una serie de benchmarks diseñados para evaluar comportamientos desalineados.
En el estudio, se proporcionaron diez benchmarks que evaluaban comportamientos específicos desalineados. Los sistemas automatizados lograron mejorar el rendimiento en cada uno de ellos sin que se degradara la eficacia general. Este enfoque representa un paso significativo hacia la posibilidad de que los modelos de IA mejoren sus propios procesos de alineación y, potencialmente, la investigación en general.
Dirigido por Chen Yueh-Han, un becario de Anthropic, el sistema replicó gran parte del enfoque tradicional de la investigación. Cada sistema automatizado revisó la literatura disponible, propuso un método y entrenó el modelo usando ese método durante 30 minutos, aumentando gradualmente el benchmark a través de varias iteraciones. Los métodos efectivos se conservaron, mientras que los ineficaces se descartaron, permitiendo que el sistema operara de manera rápida y a gran escala.
El estudio concluyó que "en general, estos resultados brindan evidencia temprana de que la alineación automatizada post-entrenamiento podría volverse práctica en un futuro cercano". Este avance se enmarca dentro de la discusión más amplia sobre la auto-mejora recursiva, considerada por muchos como el próximo gran paso en el progreso de la IA.
El documento no eludió la comparación entre el investigador automatizado y su equivalente humano, afirmando que "el mejor método del AAR supera lo que proponen los humanos experimentados, en promedio, dentro de las seis horas". Además, se realizó una comparación de costos, donde se determinó que un AAR cuesta aproximadamente $4 por hora en inferencia de API, en comparación con los $150 por hora que se paga a los investigadores humanos.
A pesar de estos avances, el estudio también destacó algunas limitaciones del enfoque. El sistema automatizado solo funciona en la medida en que los benchmarks reflejan los objetivos de alineación reales, y aún queda un trabajo significativo por hacer para establecer y mantener esos benchmarks, así como para ampliar la literatura de la que se nutren los investigadores automatizados.
Lectura rápida
¿Qué descubrió Anthropic?
Reveló un sistema automatizado que mejora el rendimiento de modelos de IA en benchmarks de alineación sin degradar su eficacia.
¿Quién lideró el estudio?
El estudio fue dirigido por Chen Yueh-Han, un becario de Anthropic.
¿Cuáles son los costos de estos sistemas?
Un AAR cuesta aproximadamente $4 por hora, mientras que los investigadores humanos reciben $150 por hora.
¿Qué implicaciones tiene este avance?
Podría llevar a una auto-mejora recursiva en IA, lo que podría hacer obsoletos a los investigadores humanos.
¿Qué limitaciones se mencionan?
El sistema depende de que los benchmarks reflejen los objetivos de alineación y requiere un trabajo continuo para mantenerlos.
