¿Pueden los agentes de IA convertirse en abogados? La última actualización lo sugiere

El mes pasado, se analizó el nuevo estándar de Mercor que mide las capacidades de los agentes de IA en tareas profesionales como el derecho y el análisis corporativo. En ese momento, los resultados fueron desalentadores, con todos los laboratorios importantes obteniendo puntajes por debajo del 25%, lo que llevó a la conclusión de que los abogados estaban a salvo de ser desplazados por la IA, al menos por ahora.

Sin embargo, las capacidades de la IA pueden cambiar significativamente en cuestión de semanas.

Esta semana, se lanzó la versión 4.6 de Anthropic, que revolucionó los rankings de agentes de IA. Este nuevo modelo logró un puntaje cercano al 30% en pruebas de un solo intento y un promedio de 45% cuando se le dieron más oportunidades para resolver problemas. Entre las nuevas características se incluyen "enjambres de agentes", que podrían haber contribuido a mejorar la resolución de problemas complejos.

El aumento en el puntaje es un gran avance respecto al estado anterior, lo que indica que el progreso en los modelos de base no está desacelerándose. Brendan Foody, CEO de Mercor, expresó su asombro: "Pasar del 18.4% al 29.8% en pocos meses es una locura".

Un 30% sigue siendo un largo camino hacia el 100%, por lo que no es que los abogados deban preocuparse por ser reemplazados por máquinas la próxima semana. Sin embargo, deberían ser mucho menos confiados que el mes pasado.