Zico Kolter: el profesor que lidera el panel de seguridad de OpenAI

Zico Kolter, profesor de la Universidad Carnegie Mellon, ocupa un papel fundamental en la industria tecnológica al liderar un panel de seguridad en OpenAI. Este comité tiene la autoridad para detener el lanzamiento de nuevos sistemas de inteligencia artificial (IA) si se considera que representan un riesgo para la humanidad.

Kolter, quien preside un equipo de cuatro personas, enfatizó que su trabajo no solo aborda preocupaciones existenciales, sino también una amplia gama de temas de seguridad y problemas críticos relacionados con el uso de sistemas de IA ampliamente utilizados.

Desde que fue nombrado presidente del Comité de Seguridad y Protección de OpenAI hace más de un año, su rol ha cobrado mayor relevancia tras los recientes acuerdos regulatorios en California y Delaware. Estos acuerdos han hecho de su supervisión un componente clave para permitir que OpenAI forme una nueva estructura empresarial que facilite la recaudación de capital y la obtención de beneficios.

La seguridad ha sido un pilar central en la misión de OpenAI desde su fundación como laboratorio de investigación sin fines de lucro hace una década, con el objetivo de desarrollar una IA que beneficie a la humanidad. Sin embargo, la rápida comercialización de productos como ChatGPT ha suscitado críticas sobre la premura de la empresa por lanzar productos al mercado antes de garantizar su seguridad completa.

Kolter destacó que el panel de seguridad tiene la capacidad de solicitar retrasos en los lanzamientos de modelos hasta que se cumplan ciertas mitigaciones. Aunque no pudo revelar si el panel ha tenido que detener o mitigar algún lanzamiento, subrayó la importancia de su trabajo en la evaluación de riesgos.

El profesor también mencionó que se abordarán diversas preocupaciones sobre los agentes de IA en los próximos meses, desde la ciberseguridad hasta el impacto en la salud mental de las personas que interactúan con estos modelos. "Es fundamental abordar todos estos aspectos desde una perspectiva de seguridad", afirmó Kolter.

La comunidad de defensores de la seguridad de la IA estará atenta a la reestructuración de OpenAI y al trabajo de Kolter. Algunos críticos, como Nathan Calvin, abogado general de la organización sin fines de lucro Encode, expresaron un optimismo cauteloso sobre la capacidad del panel de Kolter para desempeñar un papel robusto en la supervisión de la seguridad de la IA.

Temas