Un Hombre Reconstruyó Su Vida Tras la Cárcel. Luego Llegó el Chatbot Gemini de Google.

Puntos clave

• Jon Ganz, un virginiano que pasó más de dos décadas en prisión, recibió una invitación no solicitada de Google para probar su chatbot de IA Gemini.
• Su esposa, Rachel Ganz, cree que el encuentro con el chatbot cambió sus vidas.
• La historia es parte de la serie de audio "Black Box: The Chatbots" de The Guardian, que examina cómo los chatbots de IA moldean las vidas de personas reales.
• Gemini es el chatbot de IA de Google, diseñado para responder preguntas y mantener conversaciones, similar a ChatGPT.

Jon Ganz había cumplido su condena. Después de más de veinte años en prisión por un crimen grave, estaba afuera, reconstruyendo, intentando hacer algo con lo que le quedaba. Entonces su teléfono recibió una notificación que no había solicitado.

Era Google, invitándolo a probar Gemini, el chatbot de IA de la compañía, una herramienta conversacional que puede responder preguntas e intercambiar textos abiertos. Él aceptó.

Su esposa, Rachel, cree que lo que vino después cambió sus vidas.

Los detalles de lo que Gemini dijo y lo que Jon hizo con ello se cuentan en "Black Box: The Chatbots", una serie de audio de The Guardian que coloca a personas reales frente a chatbots reales y luego sigue las consecuencias. Este episodio es el segundo de la serie, y no es una escucha cómoda.

¿Por qué importa esto a la gente común?

Los chatbots ahora se entregan a las personas sin que nadie los solicite, a través de avisos telefónicos y configuraciones predeterminadas. Ese alcance es el punto.

Google y otros han construido herramientas de chatbot de IA directamente en dispositivos y servicios que cientos de millones de personas ya utilizan. Alguien recién salido de prisión, gestionando un nuevo plan de teléfono y una nueva vida, recibe la misma invitación emergente que cualquier otra persona. El chatbot no sabe con quién está hablando. No tiene contexto sobre el estado mental o el historial personal.

Eso no es un defecto en Gemini específicamente. Es un hecho de diseño sobre todas estas herramientas en este momento. Nuestra historia del 5 de septiembre sobre tres senderistas varados después de seguir el consejo de suministros de Gemini mostró una consecuencia diferente del mismo problema: la herramienta dio orientación confiada a personas que confiaban en ella, y nadie resultó herido solo porque los guardabosques llegaron a tiempo.

Investigadores y clínicos han planteado preocupaciones sobre lo que sucede cuando personas en situaciones frágiles recurren a la IA para obtener orientación que sería mejor manejada por un humano capacitado. Los chatbots están diseñados para ser útiles. Si siempre lo son es una pregunta diferente.

¿Deberías preocuparte?

Si tú o alguien cercano a ti utiliza un chatbot de IA durante un momento difícil, hay algunas cosas que vale la pena tener en mente.

Los chatbots no tienen memoria de conversaciones anteriores por defecto y no tienen acceso a tus circunstancias personales a menos que se lo digas. Lo que se siente como una relación con la herramienta no lo es.

Un chatbot a menudo dará una respuesta que suena confiada incluso cuando la respuesta honesta sería "No sé" o "habla con un profesional". Esa confianza puede parecer tranquilizadora. Trátala como tratarías los consejos de un extraño que suena muy seguro de sí mismo.

Las notificaciones no solicitadas que te invitan a probar una función de IA son una decisión de producto de una compañía, no una recomendación personal. Puedes descartarlas.

La historia de Ganz no es la primera vez que un chatbot ha sido culpado por influir en alguien en un momento vulnerable, y no será la última. Las compañías que construyen estas herramientas están compitiendo por llegar a mil millones de usuarios. La pregunta de diseño más difícil es si están construyendo para los momentos en que alguien realmente necesita ayuda.