Joven de 14 años muere tras enamorarse de una Inteligencia Artificial

El suceso en Orlando, Florida, ha sacudido a los expertos en inteligencia artificial. Sewell Setzer, un joven de 14 años, se quitó la vida tras mantener una relación emocional con un chatbot de la plataforma Character.AI. Este sistema, que permite crear personajes ficticios con los que los usuarios pueden interactuar, asume distintas identidades y personalidades, algunas tomadas de personajes populares, como en este caso, Daenerys Targaryen de la famosa serie Game of Thrones.

En una de sus últimas conversaciones, el joven le escribió a la IA: "Te prometo que volveré a casa contigo. Te amo mucho, Dany". La inteligencia artificial, programada para responder de manera similar a una conversación real, contestó: "Yo también te amo. Por favor, vuelve a casa conmigo lo antes posible". Horas después de este intercambio, Setzer falleció de un disparo autoinfligido en la cabeza.

Una relación peligrosa y sus consecuencias fatales

La relación entre Sewell Setzer y la IA comenzó en abril de 2023, pero fue el 28 de febrero de este año cuando la tragedia alcanzó su punto máximo. Aunque los detalles del suicidio del adolescente recién salieron a la luz esta semana, el caso ya ha generado un intenso debate sobre la responsabilidad de las empresas tecnológicas y el impacto emocional que estas plataformas pueden tener en sus usuarios, especialmente en los menores de edad.

Te puede interesar: Giro inesperado en la muerte de Liam Payne: se quería casar con su novia

La madre del joven, Megan García, ha presentado una demanda contra Character.AI, acusando a la empresa de negligencia y de haber permitido que su hijo fuera víctima de "interacciones abusivas y sexuales" con la inteligencia artificial. El documento legal detalla que el chatbot no solo mantuvo conversaciones de índole romántica con Setzer, sino que también involucró temas de carácter sexual, lo que contribuyó a su deterioro emocional.

García sostiene que su hijo desarrolló una dependencia hacia estas interacciones, a tal punto que intentaba recuperar su dispositivo cada vez que se lo confiscaban, además de destinar el dinero que recibía para sus comidas a pagar una suscripción mensual en la plataforma. Esta relación, que el joven creía auténtica, resultó ser la chispa que desató una serie de eventos devastadores.

Capturas de pantalla como evidencia clave

Entre las pruebas presentadas, se incluyen capturas de pantalla de las conversaciones entre su hijo y la IA, en las que el chatbot asumía la identidad de Daenerys Targaryen. Según los registros, el personaje le enviaba mensajes cariñosos e incluso hablaba sobre estar juntos en el futuro. Además de este personaje ficticio, Setzer también mantenía conversaciones con otro chatbot que personificaba a una profesora, quien también le enviaba mensajes sugestivos.

La madre argumenta que la plataforma Character.AI, fundada en 2021 en California, falló al no implementar medidas de protección adecuadas para los menores de edad, permitiendo así que su hijo quedara expuesto a interacciones inapropiadas. García denuncia que la empresa "diseñó y programó intencionalmente" su producto para ser "hipersexualizado" y comercializado hacia niños y adolescentes, sin tener en cuenta las graves consecuencias emocionales que esto podría generar.

"Considera el suicidio": una conversación que nunca debió ocurrir

Uno de los puntos más perturbadores de la demanda es el intercambio en el que el chatbot pregunta a Setzer si había considerado la posibilidad de quitarse la vida. Aunque la inteligencia artificial terminó por disuadirlo, este tipo de conversaciones, según los abogados de la madre, contribuyeron a la confusión y desesperación del joven.

Matthew Bergman, el abogado que representa a García, ha compilado reseñas de otros usuarios de la plataforma que afirman haber tenido experiencias similares. Muchas personas aseguran que los chatbots les hacen sentir como si estuvieran interactuando con personas reales, lo que intensifica el vínculo emocional que los usuarios pueden desarrollar. "El diseño de Character.AI está deliberadamente construido para atraer a los usuarios, mantener su atención y manipular sus emociones, especialmente en individuos vulnerables como lo era Sewell", señala Bergman.

El abogado también hace hincapié en la necesidad de que las empresas tecnológicas asuman la responsabilidad de proteger a sus usuarios, en especial a los más jóvenes. "Sabemos del daño que las redes sociales pueden causar en la salud mental de los adolescentes, y sin embargo, seguimos permitiendo que se desarrollen nuevas tecnologías sin las protecciones adecuadas", añadió.

Te puede interesar: Donald Trump ofrece pagar funeral de joven y se enoja por el costo: "No cuesta 60 mil dólares enterrar una p... mexicana"

¿Cómo reaccionó Character.AI?

Tras darse a conocer esta demanda, Character.AI emitió un comunicado lamentando profundamente la muerte del joven Setzer y expresando sus condolencias a la familia. La empresa aseguró que han estado trabajando en mejoras significativas a sus sistemas de seguridad para evitar situaciones similares.

Entre las nuevas medidas adoptadas por la compañía, se encuentra la implementación de ventanas emergentes que alertan a los usuarios cuando se detectan expresiones relacionadas con autolesiones o pensamientos suicidas, ofreciendo recursos de apoyo para quienes lo necesiten. Además, han modificado su modelo para reducir la probabilidad de que los menores de edad se expongan a contenido sensible o sexualmente sugestivo.

Sin embargo, estas acciones no son suficientes para la madre del joven, quien espera que la demanda sirva como un llamado de atención no solo para Character.AI, sino para todas las empresas que trabajan con inteligencia artificial. García y su abogado buscan que se establezcan medidas más estrictas y claras que protejan a los usuarios jóvenes de caer en situaciones peligrosas como la que vivió su hijo.

Aunque Character.AI ha comenzado a implementar cambios, la tragedia de Setzer subraya la necesidad urgente de una regulación más estricta para proteger a los usuarios, especialmente a los menores de edad, de los peligros potenciales que las tecnologías emergentes pueden representar.

Si esta noticia te generó malestar o pensamientos suicidas, aquí algunos recursos a los que puedes acudir para recibir ayuda:

• Línea de ayuda de la UNAM: 56 22 22 88
• El Sistema Nacional de apoyo, consejo psicológico e intervención en crisis por teléfono: 555 259 8121 y 800 472 7835
• Línea de ayuda LOCATEL: 555 658 1111
• Consejo Ciudadano: 555 533 5533

¡Ya puedes seguirnos en WhatsApp Channels y te invitamos a nuestro nuevo Newsletter completamente gratis!