Nueva herramienta de IA combate imágenes deepfake con datos envenenados

Monash University y la Policía Federal Australiana (AFP) se unieron para desarrollar una herramienta innovadora que busca combatir el uso malicioso de imágenes generadas por inteligencia artificial (IA). Este nuevo sistema, conocido como "Silverer", utiliza una técnica llamada "data poisoning" o envenenamiento de datos, que altera sutilmente la información digital para dificultar la creación y manipulación de contenido engañoso.

La AI for Law Enforcement and Community Safety (AiLECS) Lab, una colaboración entre la AFP y Monash University, trabaja en esta herramienta que tiene aplicaciones amplias, incluyendo la lucha contra la producción de material de abuso infantil generado por IA, propaganda extremista y deepfakes.

El envenenamiento de datos implica modificar la información de tal manera que los modelos de IA generen resultados inexactos o distorsionados. Esto no solo complica la creación de imágenes falsas, sino que también facilita la identificación de contenido manipulado. La herramienta "Silverer" se encuentra actualmente en fase de prototipo y ha estado en desarrollo durante el último año bajo la dirección de la investigadora y candidata a doctorado, Elizabeth Perry.

Según Perry, el nombre "Silverer" hace referencia a la plata utilizada en la fabricación de espejos. La herramienta busca crear reflejos de imágenes originales, de modo que al intentar visualizarlas, el resultado sea una imagen distorsionada y sin valor. "Antes de que una persona suba imágenes a las redes sociales, puede modificarlas usando Silverer. Esto alterará los píxeles para engañar a los modelos de IA, resultando en generaciones de muy baja calidad, cubiertas de patrones borrosos o completamente irreconocibles", explicó.

El Profesor Asociado Campbell Wilson, experto en informática forense y co-director de AiLECS, destacó que la generación de imágenes falsas y maliciosas se ha convertido en un problema creciente. "Actualmente, estas imágenes generadas por IA son relativamente fáciles de crear utilizando tecnología de código abierto, y hay una barrera de entrada muy baja para quienes utilizan estos algoritmos", afirmó.

La AFP ha notado un aumento en el material de abuso infantil generado por IA, con delincuentes aprovechando la tecnología para producir y compartir grandes cantidades de contenido explícito falso en línea. El Comandante Rob Nelson de la AFP mencionó que las tecnologías de envenenamiento de datos aún están en sus primeras etapas y se están probando, pero muestran resultados prometedores en términos de capacidades de aplicación de la ley. "Donde vemos aplicaciones sólidas es en el mal uso de la tecnología de IA para fines maliciosos", comentó.

El objetivo general del proyecto de investigación Silverer es desarrollar y mejorar continuamente una tecnología que sea fácil de usar para los australianos comunes que deseen proteger sus datos en redes sociales. La versión prototipo de la herramienta está actualmente en conversaciones para ser utilizada internamente en la AFP.