Un Hombre Ocultó Instrucciones Secretas en Documentos Judiciales para Engañar a un Asistente de Juez de IA
Un juez de Connecticut descubrió texto invisible plantado en una presentación legal, diseñado para manipular cualquier software de IA que leyera el documento. Se cree que es el primer caso de su tipo en EE.UU.
Puntos clave
- Un juez de Connecticut, Walter Spader Jr., identificó lo que parece ser el primer intento en EE.UU. de ocultar instrucciones para manipular IA dentro de una presentación judicial.
- El texto oculto era invisible para los humanos pero legible por software de IA, dirigiendo cualquier sistema de este tipo a favorecer los argumentos del demandante.
- El juez Spader falló que el texto no tuvo efecto en el resultado del caso, pero calificó la táctica como "peligrosa".
- El caso involucraba a un hombre que alegaba que un proveedor de salud le estaba bloqueando incorrectamente el acceso a sus registros médicos.
¿Exactamente qué hizo esta persona?
Un hombre que demandaba a un proveedor de salud por acceso a sus propios registros enterró un mensaje secreto dentro de su presentación judicial. Invisible a simple vista, el texto era completamente legible para cualquier software de IA que escaneara el documento.
Las instrucciones ocultas indicaban a cualquier sistema de IA que revisara la presentación que se pusiera del lado del demandante, descartara las negaciones previas del tribunal y produjera resultados que coincidieran con el resultado que deseaba. Piénsalo como si deslizaras una nota de trucos a un árbitro robot.
El juez Spader, publicando su sentencia la semana pasada, describió el texto como "formateado para ser invisible para un lector humano mientras permanece completamente legible para cualquier software que lea el texto del documento".
¿Por qué alguien haría esto?
El hombre parece haber sospechado que el tribunal estaba utilizando herramientas de IA para procesar o resumir documentos legales. Eso no es descabellado. El software de IA, del tipo detrás de chatbots como ChatGPT, se usa cada vez más en entornos administrativos para leer y organizar documentos rápidamente.
Si un asistente de IA estuviera moldeando silenciosamente cómo un juez o secretario entendía una presentación, dirigiéndola con instrucciones ocultas, podría, en teoría, inclinar el resultado. Los investigadores de seguridad llaman a esto un "ataque de inyección de prompts": alguien planta comandos deshonestos dentro del contenido que leerá una IA, esperando secuestrar su comportamiento. AI2Day cubrió una vulnerabilidad relacionada en agosto, cuando investigadores encontraron aproximadamente 20 defectos así en navegadores mejorados con IA de cinco empresas importantes.
Aquí, no funcionó.
¿Cambió algo?
No. El juez Spader confirmó que el texto oculto tuvo cero impacto en su decisión, con el tribunal evaluando la presentación únicamente por sus méritos legales.
Spader señaló el intento como establecer un precedente "peligroso", una señal de que espera que otros tribunales encuentren trucos similares a medida que las herramientas de IA se expanden a través de sistemas legales. Reportado por primera vez por Ars Technica AI, este parece ser el primer caso de este tipo en Estados Unidos.
¿Qué significa esto para la gente común?
La mayoría de las personas nunca presentarán sus propios documentos judiciales, pero este caso muestra un nuevo frente abriéndose en cualquier lugar donde la IA lea documentos que los humanos también se preocupan.
Los tribunales y aseguradoras ya usan IA para procesar documentos a escala. Cualquiera que entienda cómo funcionan estos sistemas podría intentar plantar instrucciones invisibles para cambiar lo que la IA reporta. La técnica de inyección de prompts no es exótica; está documentada, es reproducible y es barata de intentar.
Un juez humano atrapó este. Ya sea que los sistemas automatizados sean tan alertas es una pregunta que los tribunales y equipos de tecnología necesitan responder antes de que llegue la siguiente presentación.
