la frase que lo delató

La Cámara en lo Penal de Esquel, provincia de Chubut, anuló una sentencia penal porque el juez usó inteligencia artificial en su redacción. Al revisar el fallo, el tribunal encontró la siguiente frase: “Aquí tienes el punto IV reeditado, sin citas y listo para copiar y pegar”, un recurso muy común en aplicaciones como ChatGPT, el chatbot más usado del mundo para generar texto.

El caso levantó polvo en el mundo judicial porque se tomó la decisión más estricta, esto es, la nulidad de la sentencia y del juicio. Con la anulación “de oficio”, esto es, sin el pedido de ninguna de las partes, la sentencia dictada el 4 de junio por el juez penal Carlos Rogelio Richeri, que había impuesto a Raúl Amelio Payalef una pena de dos años y seis meses de prisión de cumplimiento efectivo por robo, quedó sin efecto y el juicio deberá hacerse de nuevo, con otro juez.

“La Cámara consideró que el fallo presentaba múltiples violaciones constitucionales y procesales. En primer lugar, se evidenció una falta de transparencia, ya que no se especificó qué sistema de IA se utilizó, qué datos fueron ingresados ni qué instrucciones se le dieron. Esta opacidad impide cualquier control sobre posibles sesgos o errores del algoritmo. En segundo lugar, se observó una delegación prohibida de la función jurisdiccional, que por su naturaleza es personal e indelegable”, explicó a Clarín Luis García Balcarce, abogado especializado en derechos digitales.

“Además, se vulneró el principio del juez natural, que establece que nadie puede ser juzgado por otros jueces que los instituidos por ley. Un algoritmo desarrollado por empresas privadas no puede tomar decisiones que afecten la libertad de las personas”, agregó.

El especialista explicó que además “se afectó el derecho de defensa, ya que al eliminar las citas y no especificar el uso de IA, se privó a las partes de conocer las fuentes del razonamiento judicial y de ejercer un control adecuado sobre la decisión”.

Uno de los principales problemas que puede arrastrar el uso de la inteligencia artificial en textos es lo que se conoce como “alucinaciones”, es decir, inventos. Hay un segundo problema asociado: es probable que el juez haya cargado en su consulta con la IA datos personales de los involucrados en el caso, lo cual siempre es peligroso en tanto se pierde control de lo que una empresa como OpenAI (creadora de ChatGPT) pueda hacer con esa información o, incluso, pueden filtrarse.

No es la primera vez que el mal uso de la IA llega a los titulares de las noticias. Hacia fines de agosto de este año, la Cámara de Apelación en lo Civil y Comercial de Rosario le llamó la atención a un abogado que inventó citas con inteligencia artificial (IA) en una causa judicial. El letrado reconoció que la jurisprudencia que había citado había sido creada con un programa de IA generativa (como ChatGPT) y que no se dio cuenta de que se trataba de una alucinación.

El caso fue muy comentado en el mundo legal, no por ser el primero en el que se usa IA, sino porque llegó a que un juez aplicara un llamado de atención formal a un abogado. El texto tenía citas jurisprudenciales (referencias a fallos o sentencias anteriores que se incluyen para respaldar una argumentación) que no podían ser encontradas en documentación precedente.

“En casos anteriores de usos de IA, en general, le llamaban la atención al abogado de una de las partes usando citas inventadas, como pasó en Rosario. Esta es la primera vez donde un juez de primera instancia, en un caso de condena penal, por eso es distinto”, apunta Pablo Palazzi, profesor de Derecho Universidad de San Andrés y socio del área de derecho tecnológico de Allende & Brea.

“La utilización de sistemas de inteligencia artificial por parte de jueces, fiscales o abogados no es un fenómeno exclusivamente argentino, sino parte de una tendencia global que ha venido expandiéndose a un ritmo mayor que el debate ético y normativo que debería acompañarla. En los últimos dos años, tribunales de Estados Unidos, España, México, Perú y Corea del Sur han registrado episodios en los que se descubrió que un decisor judicial utilizó herramientas generativas, como ChatGPT, para redactar resoluciones o fundamentar argumentos”, recuerda en diálogo con este medio Lucas de Venezia, abogado (UCA) especialista en Derecho e Inteligencia Artificial .

En el caso de Chubut, el especialista concuerda con la decisión tomada por la Cámara: “Resulta una decisión correcta y necesaria para preservar los principios estructurales del proceso. El acto jurisdiccional no es solo una declaración de voluntad: es un acto de autoridad revestido de fe pública, sustentado en el razonamiento humano y en la responsabilidad personal del juez”, agregó.

“El uso de IA sin control, sin trazabilidad ni supervisión humana efectiva convierte la sentencia en un producto híbrido de dudosa autoría, lo cual afecta su validez formal y su legitimidad material”, cerró.

Para De Venezia, “la nulidad no es una sanción excesiva, sino un acto de resguardo institucional”. “El derecho debe reaccionar con severidad ante la sustitución del juicio humano por el automatismo algorítmico, especialmente cuando quien incurre en esa falta es quien encarna la última instancia de responsabilidad”, planteó.

Complementa Palazzi: “La gran discusión es si la decisión la tomó el juez o la delegó, en este caso, en ChatGPT. No se puede encargar a un tercero a que decida por uno y más cuando es un tema material donde se condena a un ciudadano: si tenía una condena anterior, va preso. Es un límite muy difícil de pasar.

Y hay un detalle atendible: “Lo que también es llamativo es que nadie había planteado una nulidad, ni el fiscal ni el imputado. A lo mejor al condenado le convenía esa condena, quizás ahora le dan tres años. Y si el imputado no lo planteó, por garantías constitucionales, no se puede empeorar su situación“, agrega Palazzi. Para él, “en vez de espantarse con la IA, hay que aprender a usarla, con conocimiento propio y criterio”.

A nivel global, el primer caso y más conocido de todos tuvo su sentencia el 22 de junio de 2023, en Estados Unidos, cuando un letrado presentó una demanda contra la aerolínea colombiana Avianca y citó jurisprudencia que no existía, precisamente por usar ChatGPT.

Hoy, hasta hay un sitio web que recopila casos en todo el mundo.