Grupo de vigilancia exige a OpenAI retirar la app de video Sora por riesgos de deepfakes

La industria tecnológica avanzó rápidamente y volvió a causar estragos. Esta vez se trató de la realidad compartida de la humanidad y el control de nuestra imagen antes y después de la muerte, gracias a plataformas de generación de imágenes por inteligencia artificial como Sora 2 de OpenAI.

El típico video de Sora, creado en la aplicación de OpenAI y difundido en TikTok, Instagram, X y Facebook, estuvo diseñado para ser lo suficientemente divertido como para que los usuarios hicieran clic y compartieran. Podría ser la Reina Isabel II rapeando o algo más ordinario y creíble. Un género popular de la plataforma fue el de falsos videos de cámaras de timbre que captaron algo ligeramente inquietante, como una boa constrictor en el porche o un caimán acercándose a un niño imperturbable, y terminó con un leve sobresalto, como una abuela gritando mientras golpea al animal con una escoba.

Sin embargo, cada vez más grupos de defensa, académicos y expertos hicieron sonar la alarma sobre los peligros de permitir que las personas creen videos de IA sobre casi cualquier cosa que puedan escribir en una indicación, lo que llevó a la proliferación de imágenes no consensuadas y deepfakes realistas en un mar de "bazofia de IA" menos dañina. OpenAI tomó medidas contra las creaciones de IA de figuras públicas, entre ellas, Michael Jackson, Martin Luther King Jr. y Mister Rogers, haciendo cosas extravagantes, pero solo después de que los herederos de los afectados y un sindicato de actores lanzaron protestas.

La organización sin fines de lucro Public Citizen exigió que OpenAI retire Sora 2 del público, en una carta enviada el martes a la empresa y al CEO Sam Altman donde indicó que el lanzamiento apresurado de la aplicación para adelantarse a los competidores mostró un "patrón constante y peligroso en el que OpenAI se apresura a salir al mercado con un producto que es inherentemente inseguro o carece de las salvaguardias necesarias". Según la misiva, Sora 2 mostró un "imprudente desprecio" por la seguridad del producto, así como por el derecho de las personas a su propia imagen y la estabilidad de la democracia. El grupo también envió la carta al Congreso de Estados Unidos.

Hasta el martes, OpenAI no había respondido a una solicitud de comentarios.

"Nuestra mayor preocupación es la amenaza potencial a la democracia", dijo en una entrevista J.B. Branch, defensor de políticas tecnológicas de Public Citizen. "Creo que estamos entrando en un mundo en el que la gente realmente no puede confiar en lo que ve. Y comenzamos a ver estrategias en la política donde la primera imagen, el primer video que se publica, es lo que la gente recuerda".

Branch, autor de la carta enviada el martes, también vio preocupaciones más amplias sobre la privacidad de las personas, las cuales afectaron desproporcionadamente a las poblaciones vulnerables en línea.

OpenAI bloqueó la desnudez, pero Branch dijo que "las mujeres se ven acosadas en línea" de otras maneras, como con contenido fetichizado de nicho que elude las restricciones de las aplicaciones. El medio de comunicación 404 Media informó el viernes sobre una avalancha de videos hechos con Sora de mujeres siendo estranguladas.

OpenAI introdujo su nueva aplicación Sora en iPhones hace más de un mes. Se lanzó en teléfonos Android la semana pasada en Estados Unidos, Canadá y varios países asiáticos, entre ellos, Japón y Corea del Sur.

Gran parte de la oposición más fuerte se produjo en Hollywood y otras áreas del entretenimiento, como la industria del manga japonés. OpenAI anunció sus primeros grandes cambios pocos días después del lanzamiento, diciendo que "la moderación excesiva es superfrustrante" para los usuarios, pero que es importante ser conservador "mientras el mundo aún se adapta a esta nueva tecnología".

A esto siguieron varios acuerdos anunciados públicamente el 16 de octubre con la familia de Martin Luther King Jr., en el que se evitan las "representaciones irrespetuosas" del líder de los derechos civiles mientras la empresa trabajaba en mejores salvaguardias, y otro, alcanzado el 20 de octubre con el actor de "Breaking Bad" Bryan Cranston, el sindicato SAG-AFTRA y agencias de talentos.

"Eso está muy bien si eres famoso", dijo Branch. "Es una especie de patrón que tiene OpenAI donde están dispuestos a responder a la indignación de una población muy pequeña. Están dispuestos a lanzar algo y disculparse después. Pero muchos de estos problemas son decisiones de diseño que pueden tomar antes de lanzar el producto".

OpenAI ha enfrentado quejas similares sobre su producto estrella, ChatGPT. En siete nuevas demandas presentadas la semana pasada en tribunales de California se afirmó que el chatbot llevó a personas a suicidarse y a sufrir delirios dañinos aun cuando no tenían problemas previos de salud mental. Presentadas en nombre de seis adultos y un adolescente por el Social Media Victims Law Center y el Tech Justice Law Project, las demandas afirmaron que OpenAI lanzó a sabiendas GPT-4 prematuramente el año pasado, a pesar de las advertencias internas de que era peligrosamente adulador y psicológicamente manipulador. Cuatro de las víctimas murieron por suicidio.

Public Citizen no participó en las demandas, pero Branch dijo que ve paralelismos en el lanzamiento apresurado de Sora.

Dijo que están "pisando el acelerador sin preocuparse por los daños. Mucho de esto parece previsible. Pero prefieren sacar un producto, hacer que la gente lo descargue, hacer que se vuelva adicta a él en lugar de hacer lo correcto y probar estas cosas de antemano y preocuparse por la situación de los usuarios cotidianos".

La semana pasada, OpenAI respondió quejas de una asociación comercial japonesa que representa a famosos animadores como Studio Ghibli de Hayao Miyazaki y fabricantes de videojuegos como Bandai Namco y Square Enix. La empresa dijo que muchos fanáticos del anime quieren interactuar con sus personajes favoritos, pero también ha establecido salvaguardias para evitar que se generen personajes conocidos sin el consentimiento de las personas que poseen los derechos de autor.

OpenAI interactuó directamente con estudios y titulares de derechos, escuchó comentarios y aprendió de cómo la gente está usando Sora 2, incluso en Japón, donde las industrias culturales y creativas son profundamente valoradas.