¿Está la IA lista para el tribunal? Un nuevo marco aborda sus debilidades

Durante más de una década, el científico informático Randy Goebel y sus colegas en Japón han utilizado un método probado en su campo para avanzar en la inteligencia artificial (IA) en el mundo del derecho: una competencia anual.

Los participantes deben emplear un sistema de IA que pueda recuperar estatutos relevantes a partir de casos legales tomados del examen de la barra japonesa y, lo más importante, tomar una decisión: ¿los acusados en los casos violaron la ley o no?

Este tipo de respuesta de sí/no es el mayor desafío para la IA, según Goebel, lo que plantea interrogantes sobre si los sistemas de IA pueden ser implementados de manera ética y efectiva por abogados, jueces y otros profesionales legales que enfrentan grandes volúmenes de trabajo y plazos ajustados para impartir justicia.

La competencia ha sentado las bases para un nuevo artículo en el que Goebel y sus coautores describen los tipos de razonamiento que la IA debe utilizar para "pensar" como abogados y jueces, y presentan un marco para dotar a los modelos de lenguaje grandes (LLMs) de razonamiento legal.

El artículo fue publicado en la revista Computer Law & Security Review.

"El mandato es entender el razonamiento legal, pero la pasión y el valor para la sociedad es mejorar la toma de decisiones judiciales", afirmó Goebel.

La necesidad de estas herramientas ha sido especialmente crítica desde la decisión del Tribunal Supremo de Canadá en el caso Jordan, que acortó el tiempo que los fiscales tienen para llevar un caso a juicio, resultando en la desestimación de casos tan graves como agresiones sexuales y fraudes.

"Es una motivación muy buena para decir: 'Habilitemos al sistema judicial para que sea más rápido, más efectivo y más eficiente'", agregó Goebel.

Haciendo que las máquinas 'piensen' como abogados

El artículo destaca tres tipos de razonamiento que las herramientas de IA deben poseer para pensar como profesionales legales: razonamiento basado en casos, razonamiento basado en reglas y razonamiento abductivo.

Algunos sistemas de IA, como los LLMs, han demostrado ser hábiles en el razonamiento basado en casos, que requiere que expertos legales examinen casos judiciales previos y determinen cómo se aplicaron las leyes en el pasado para establecer paralelismos con el caso actual.

El razonamiento basado en reglas, que implica aplicar leyes escritas a casos legales únicos, también puede ser realizado en cierta medida por herramientas de IA.

Sin embargo, donde las herramientas de IA enfrentan mayores dificultades es con el razonamiento abductivo, un tipo de inferencia lógica que implica unir una serie plausible de eventos que podrían explicar, por ejemplo, por qué un acusado no es culpable de un crimen. (¿El hombre con el cuchillo en la mano apuñaló a la víctima? ¿O fue una ráfaga de viento la que hizo que el cuchillo cayera en su mano?)

"No sorprende que el razonamiento abductivo no pueda ser realizado por los modernos modelos de lenguaje grandes, porque no razonan", comentó Goebel. "Son como tu amigo que ha leído cada página de la Enciclopedia Británica, que tiene una opinión sobre todo pero no sabe cómo encajar la lógica".

Sumado a su tendencia a "alucinar", o inventar "hechos" de manera indiscriminada, los LLMs genéricos aplicados al campo legal son, en el mejor de los casos, poco fiables y, en el peor, potencialmente perjudiciales para la carrera de los abogados.

El desafío importante para los científicos de IA es si pueden desarrollar un marco de razonamiento que funcione en conjunto con los LLMs genéricos para centrarse en la precisión y la relevancia contextual en el razonamiento legal, según Goebel.

No hay una herramienta de IA única para todos

¿Cuándo tendremos herramientas de IA que puedan reducir a la mitad el trabajo de abogados y jueces? Quizás no pronto.

Goebel señala que una conclusión clave de la competencia, y que también se detalla en el artículo, es que el uso de programas informáticos para ayudar en la toma de decisiones legales es relativamente nuevo, y aún queda mucho trabajo por hacer.

Goebel prevé muchas herramientas de IA separadas empleadas para diferentes tipos de tareas legales, en lugar de un único LLM "divino".

Las afirmaciones de algunos en la industria de la IA de que la humanidad está a punto de crear una herramienta de IA que pueda emitir decisiones judiciales y argumentos legales "perfectos" son absurdas, según Goebel.

"Cada juez con el que he hablado ha reconocido que no existe tal cosa como un juicio perfecto", afirma. "La pregunta es realmente: '¿Cómo determinamos si las tecnologías actuales brindan más valor que daño?'"

Temas