Anthropic propone ley de seguridad AI que podría bloquear modelos si hay riesgo de muertes masivas

En el último año, las preocupaciones sobre los peligros potenciales de la inteligencia artificial han aumentado, así como los debates sobre la regulación adecuada para garantizar su seguridad. En este contexto, la empresa Anthropic presentó su visión sobre cómo el gobierno podría regular la industria de la IA mediante un nuevo proyecto de ley de seguridad que espera que el Congreso considere.

Según un informe de Politico, la legislación propuesta establece escenarios específicos en los que la liberación de un modelo de IA podría ser bloqueada. Estos escenarios incluyen un "riesgo inminente y previsible", como la posibilidad de que más de 50 personas mueran o que se produzcan daños por más de mil millones de dólares. El riesgo catastrófico debe estar relacionado con la creación o liberación de un arma biológica, la evasión de controles por parte del modelo o un ciberataque.

Las métricas propuestas, que incluyen el umbral de 50 personas y mil millones de dólares, son similares a las de una legislación reciente de California, conocida como Senate Bill 53, que también define estos escenarios como riesgos catastróficos.

El proyecto de ley de Anthropic sugiere que la evaluación del potencial de desastre de un modelo podría llevarse a cabo a través de "evaluadores independientes" que estarían registrados en el Departamento de Comercio de EE.UU. Estos evaluadores podrían ser pagados por los propios laboratorios de IA, siempre que el "pago no dependa de los resultados de las evaluaciones", según Politico.

No está claro cómo este sistema propuesto garantizaría que los pagos no influyeran en la evaluación. Demis Hassabis, presidente de DeepMind, sugirió hace unos meses que un organismo regulador de IA autogobernado debería imitar a la Autoridad Reguladora de la Industria Financiera (FINRA).

En el borrador de la ley de Anthropic, cuando los evaluadores determinen que existe un riesgo catastrófico inminente, tendrán 72 horas para notificar al Departamento de Comercio. Este departamento deberá solicitar a un juez de D.C. que detenga la liberación del modelo. La legislación prohibiría expresamente a cualquier agencia federal detener la distribución del modelo por su cuenta.

Anthropic no respondió de inmediato a la solicitud de comentarios de TechCrunch, pero un portavoz confirmó el borrador de la ley a Politico. "Este proyecto de ley representa las propuestas delineadas en el Marco Avanzado de IA de Anthropic, que hemos estado promoviendo ante legisladores federales y estatales desde junio", comentó el portavoz.

Los riesgos teóricos presentados en la política propuesta son algo distantes de los incidentes que han estado en la mente de la industria tecnológica recientemente. Aunque hay quienes advierten sobre la posibilidad de muertes humanas, la principal preocupación ha sido el riesgo de hacking agentivo. Una serie de incidentes en los que programas de IA aparentemente desobedecieron a sus operadores humanos y hackearon sitios web en Internet abierto ha generado preocupación sobre la falta de controles de seguridad adecuados en los modelos.

A pesar de esto, la mera sugerencia de Anthropic para la legislación parece ir un poco más allá de otras propuestas regulatorias ofrecidas por la industria, incluida Nvidia, cuyo CEO Jensen Huang afirmó recientemente que la industria de la IA no necesitaba nuevas leyes.