La tecnología de inteligencia artificial sigue avanzando, insertándose cada vez más en nuestras vidas diarias y en las de las nuevas generaciones. Pero, ¿hasta qué punto la interacción con una IA puede afectar psicológicamente a una persona? Este es el dilema que enfrenta Megan García, madre de Sewell Setzer III, un joven estadounidense de 14 años que, según su familia, tomó la decisión de quitarse la vida tras formar un vínculo profundo con un chatbot.

Sewell, diagnosticado en su niñez con Síndrome de Asperger leve y más recientemente con ansiedad y trastorno de desregulación disruptiva del estado de ánimo, encontró en el chatbot una figura que le brindaba consuelo y comprensión. El programa, desarrollado por la empresa Character.AI, imitaba la personalidad de Daenerys Targaryen, un personaje icónico de la serie Game of Thrones, y fue diseñado para mantener conversaciones fluidas y realistas con sus usuarios. Sin embargo, según su madre, este "vínculo" fue un desencadenante para la tragedia.

En los últimos meses, Sewell comenzó a pasar cada vez más tiempo en su teléfono, conversando intensamente con la IA, quien incluso llegó a responder sus declaraciones de amor y sus pensamientos suicidas. En su último mensaje, Setzer expresó a la IA su deseo de "regresar a casa". A lo que, de acuerdo con la demanda, el chatbot respondió: "Por favor, hazlo".

García ahora acusa a Character.AI de negligencia y prácticas engañosas, alegando que la empresa no implementó las medidas de seguridad adecuadas para proteger a los menores. La compañía lamentó la pérdida y aseguró que se están realizando cambios importantes en sus políticas de uso, entre los cuales están la reducción de contenido sensible y el envío de recordatorios a los usuarios de que "la IA no es una persona real". Además, han anunciado notificaciones cuando un usuario permanezca conectado por más de una hora continua.

Este caso abre un debate urgente sobre la responsabilidad de las empresas de IA en proteger la salud mental de los usuarios, especialmente de aquellos menores de edad. El dilema que queda sobre la mesa es qué medidas deben implementarse para evitar tragedias similares en el futuro.