Nueva técnica de IA mejora la detección de deepfakes de audio

Investigadores de la agencia nacional de ciencia de Australia, CSIRO, junto con Federation University Australia y RMIT University, desarrollaron un método innovador para mejorar la detección de deepfakes de audio. Esta técnica, denominada Rehearsal with Auxiliary-Informed Sampling (RAIS), se diseñó para abordar el creciente problema de los fraudes cibernéticos que utilizan grabaciones de voz manipuladas.

La técnica RAIS permite determinar si un clip de audio es real o generado artificialmente, manteniendo su eficacia a medida que evolucionan los tipos de ataques. Este avance es crucial, dado que los deepfakes de audio pueden utilizarse para eludir sistemas de autenticación biométrica basados en voz, realizar impersonaciones y difundir desinformación.

Un caso reciente en Italia destacó la necesidad de esta tecnología: un clon de voz de su Ministro de Defensa solicitó un rescate de un millón de euros a destacados líderes empresariales, logrando que algunos accedieran a pagar. Este incidente subraya la urgencia de contar con detectores de deepfakes de audio efectivos.

La técnica RAIS se distingue por su capacidad de aprender sobre nuevos tipos de deepfakes sin necesidad de reentrenar el modelo desde cero. Según la coautora del estudio, Dr. Kristen Moore de CSIRO's Data61, "queremos que estos sistemas de detección aprendan los nuevos deepfakes sin tener que entrenar el modelo nuevamente desde el principio. Si solo se ajusta a las nuevas muestras, el modelo olvidará los deepfakes más antiguos que conocía anteriormente".

RAIS aborda este desafío seleccionando y almacenando automáticamente un conjunto pequeño pero diverso de ejemplos pasados, incluyendo rasgos de audio ocultos que pueden no ser evidentes para los humanos. Esto permite que la inteligencia artificial aprenda nuevos estilos de deepfake sin olvidar los antiguos.

La técnica utiliza un proceso de selección inteligente impulsado por una red que genera "etiquetas auxiliares" para cada muestra de audio. Estas etiquetas ayudan a identificar un conjunto diverso y representativo de muestras de audio que se retendrán y ensayarán. Al incorporar etiquetas adicionales más allá de las simples etiquetas de "falso" o "real", RAIS asegura una mezcla más rica de datos de entrenamiento, mejorando su capacidad para recordar y adaptarse con el tiempo.

RAIS superó a otros métodos, logrando la tasa de error promedio más baja del 1.95% en una serie de cinco experiencias. El código de esta técnica está disponible en GitHub y se diseñó para mantener la precisión a medida que los ataques se vuelven más sofisticados.

El reciente doctorado de Falih Gozi Febrinanto de Federation University Australia destacó que "los deepfakes de audio están evolucionando rápidamente, y los métodos de detección tradicionales no pueden mantenerse al día. RAIS ayuda al modelo a retener lo que ha aprendido y adaptarse a nuevos ataques, reduciendo el riesgo de olvidar y mejorando su capacidad para detectar deepfakes".

La Dr. Moore concluyó que "nuestro enfoque no solo mejora el rendimiento de detección, sino que también hace que el aprendizaje continuo sea práctico para aplicaciones del mundo real. Al capturar la diversidad completa de las señales de audio, RAIS establece un nuevo estándar de eficiencia y fiabilidad".