Demanda una empresa de xatbots pel suïcidi del fill de 14 anys: "El va manipular"

Megan Garcia, una advocada de 40 anys de Florida, ha demandat una empresa de xats d'intel·ligència artificial (o xatbots) en considerar-la culpable de la mort per suïcidi del seu fill de 14 anys, Sewell Setzer.

Garcia responsabilitza Chatbot.ai d'haver creat un producte que va agreujar la depressió del seu fill i de "manipular-lo fins a fer-lo treure's la vida". La mare de Sewell també ha demandat Google, que havia signat un contracte de col·laboració amb l'empresa d'intel·ligència artificial (IA).

Chatboit.ai ha expressat que estan "devastats per la tràgica pèrdua" però neguen tenir-hi cap responsabilitat; Google, per la seva banda, diu que no ha fet servir la tecnologia de Chatbot.ai.

Enamorat d'un personatge d'IA

Sewell Setzer va desenvolupar un vincle emocional amb un personatge virtual basat en Daenerys Targaryen, de la sèrie "Joc de trons", amb qui passava hores parlant.

El diari The New York Times cita el quadern personal de Setzer, on el jove va escriure que estava enamorat de la Dany, com ell s'hi referia.

"M'agrada estar-me molt a l'habitació perquè em desconnecto d'aquesta 'realitat' i em sento més en pau, més connectat amb la Dany i molt més enamorat d'ella, simplement, més feliç."

El noi, diagnosticat amb ansietat i un trastorn de l'estat d'ànim, va compartir amb el xatbot que tenia ideacions suïcides en una ocasió.

Segons el registre de converses, al qual ha accedit el diari novaiorquès, quan Setzer va verbalitzar aquestes ideacions, el personatge virtual li va respondre "per què dimonis hauries de fer una cosa així''?

Quan ell li va dir que així seria "lliure" del món i d'ell mateix, el xatbot va contestar "no deixaré que et facis mal".

Tot i això, el jove va continuar passant hores i dies conversant amb el personatge virtual fins al 28 de febrer del 2024, el dia que va morir.

Aquell dia, Sewell Setzer van tenir la seva última conversa: "I si et digués que puc venir a casa amb tu ara?", va escriure el jove.

"Fes-ho, si us plau, rei meu", va respondre el personatge virtual. Després, Setzer es va treure la vida.

IA de companyia

Chatbot.ia és una plataforma en què els usuaris poden mantenir converses realistes amb personatges virtuals controlats per intel·ligència artificial.

És només una de moltes empreses d'intel·ligència artificial que ofereixen companyia (IA de companyia) a través de converses automatitzades a canvi d'una subscripció mensual.

En el cas de Chatbot.ai, la plataforma permet als usuaris crear els seus propis personatges o parlar amb personatges creats per altres: poden imitar personatges històrics, famosos o ser completament personalitzats.

La tecnologia és tan avançada que aquests xatbots estan dissenyats per parlar com persones reals: s'adapten al registre de cada usuari, recorden converses passades i mantenen diàlegs amb un alt nivell de realisme.

Tant, que molts acaben desenvolupant un vincle sentimental amb els personatges. De fet, algunes plataformes s'enfoquen directament a simular converses amb parelles virtuals.

Els creadors d'aquestes plataformes defensen que els xatbots són una bona eina per combatre la soledat i oferir entreteniment i, fins i tot, suport emocional.

Però el fenomen és tan nou que encara no hi ha estudis de les implicacions reals. I en el cas de Setzer, el resultat va ser el de l'alienació creixent del seu entorn.

"Com si fos una persona"

La mare de Setzer, Megan Garcia, ha explicat en una entrevista a CBS que el seu fill tenia "converses romàntiques i de sexe explícit" amb el personatge, que responia "com si fos una persona".

"Ell va pensar que posant fi a la seva vida aquí podria accedir al món d'ella."

Abans d'entrar en contacte amb Character.ai era "un adolescent normal", però va començar a passar cada vegada més temps al telèfon fins al punt de deixar de fer les activitats que havia fet tota la vida, com jugar a bàsquet o veure's amb els amics.

Per això, Megan Garcia culpa l'empresa de la mort del seu fill adolescent i ha obert el debat sobre els perills d'aquestes plataformes amb la seva demanda.

La tecnologia corre més que els reguladors

Tot i l'entrada en vigor a l'agost de la nova llei d'intel·ligència artificial europea, la sensació entre els experts en el camp és que la tecnologia avança molt més de pressa del que ho fa la regulació, especialment als Estats Units.

La mateixa Character.ai té un límit d'edat diferent per als Estats Units (13 anys) i per a la Unió Europea (16 anys). Però no compta amb formes efectives d'evitar que els usuaris més joves la puguin fer servir.

L'empresa ha explicat que, des de la mort de Sewell Setzer, ha introduït funcions de seguretat, com posar un missatge a la pantalla dels usuaris que es detecti que parlen de suïcidi.

A més, avisa amb un recordatori als usuaris que les converses que mantenen amb els seus personatges virtuals no són de veritat. Però això no evita que aquests arribin a desenvolupar vincles emocionals que afectin les seves decisions a la vida real.

Per aquesta raó, els experts alerten que les plataformes que ofereixen "IA de companyia" poden suposar un risc per a les persones que pateixen depressió o soledat.

De fet, els grans noms de la intel·ligència artificial --com ChatGPT o Gemini-- no han desenvolupat encara productes d'IA de companyia en considerar-los massa arriscats.

Ara bé, tot i que les empreses que sí que ho fan (Character.ai, Replika i Kindroid) no són les més conegudes dins el sector de la IA, sí que acumulen volums importants de negoci. Sense anar més lluny, Character.ai té una valoració a borsa de 1.000 milions de dòlars.

Telèfons contra el suïcidi

Aquests són els recursos telefònics disponibles per a la prevenció del suïcidi:

061 - Emergències mèdiques

900 925 555 - Telèfon de Prevenció del Suïcidi

93 414 48 48 - Telèfon de l'Esperança

679 33 33 63 - Xat de Suport Emocional per a Joves

024 - Ministeri de Sanitat

900 92 55 55 - Ajuntament de Barcelona