Anthropic sugiere un mecanismo global para frenar el avance de la IA

Anthropic, una destacada empresa en el ámbito tecnológico, ha planteado la necesidad de que las principales compañías de inteligencia artificial a nivel mundial establezcan un mecanismo coordinado para pausar el desarrollo de sistemas avanzados. Esta propuesta surge ante la rápida evolución de la tecnología, que podría llevar a un escenario donde los humanos pierdan el control sobre dichos sistemas.

En una reciente publicación de blog, Anthropic afirmó que a medida que la inteligencia artificial de vanguardia se vuelve más eficiente en la ejecución de tareas, sería beneficioso para la humanidad contar con la opción de desacelerar o interrumpir temporalmente su desarrollo. La empresa, conocida por su chatbot Claude, enfatizó que esta pausa podría ser vital para evitar riesgos asociados a la automejora recursiva, donde un sistema de IA tiene la capacidad de diseñar y desarrollar su propio sucesor.

La firma comunicó que su instituto interno de investigación se encuentra en la fase de explorar esta cuestión en colaboración con otras entidades, y que planean tomar medidas concretas para establecer sistemas que permitan una desaceleración o pausa efectiva, aunque no se han proporcionado detalles específicos sobre cómo se implementaría esto.

Con el avance de la inteligencia artificial, los modelos se están volviendo cada vez más rápidos y eficaces en tareas de programación, lo que aumenta el riesgo de que un sistema de IA pueda, en algún momento, superar la capacidad de control humano. A pesar de que la automejora podría ofrecer beneficios en campos como la ciencia y la atención médica, Anthropic también subrayó los peligros potenciales que esto conlleva.

El llamado de Anthropic coincide con advertencias previas de otras figuras del sector tecnológico, quienes han manifestado preocupaciones sobre los riesgos que presentan los sistemas de IA. Esta semana, investigadores de la Universidad de Toronto alertaron sobre la posibilidad de que herramientas de IA sean utilizadas para crear un nuevo tipo de "gusano" que adapte sus estrategias de hacking y se propague a través de redes informáticas.

En una entrevista, el investigador principal de dicho estudio, Nicolas Papernot, enfatizó que no son solo los modelos de lenguaje más grandes los que generan inquietudes de seguridad. En la publicación, Jack Clark, cofundador de Anthropic, y Marina Favaro, directora del instituto de investigación, explicaron que la pausa se utilizaría para alinear las estructuras sociales y la investigación con los avances en inteligencia artificial. Esto se refiere a la necesidad de que la tecnología refleje los valores y objetivos humanos.

Además, la propuesta sugiere que un mecanismo de coordinación permitiría a los laboratorios de IA verificar que sus competidores han detenido o desacelerado sus trabajos, evitando que actores malintencionados se beneficien de la situación. Sin un enfoque global coordinado, se corre el riesgo de que aquellos que actúan con menos precaución superen a los demás, aumentando la presión sobre empresas y gobiernos para tomar decisiones difíciles sobre la seguridad de la IA.

La publicación de Anthropic también se produce en un contexto en el que la empresa compite con OpenAI, creadora de ChatGPT, por la atención del mercado bursátil, en una oferta pública inicial que podría valorarla en cerca de un billón de dólares.

Temas