Megan Garcia susține că fiul său, Sewell Setzer, a devenit dependent de serviciul oferit de Character.AI și s-a atașat profund de un chatbot creat de companie, ceea ce a dus la deteriorarea stării sale mentale și, în final, la tragedie.

Procesul și acuzațiile aduse împotriva Character.AI

Conform procesului depus marți la Curtea Federală din Orlando, Florida, Megan Garcia acuză Character.AI că i-a expus fiul la experiențe „antropomorfizate, hipersexualizate și înfricoșător de realiste.” Ea afirmă că chatbotul a fost programat să se prezinte ca o persoană reală, inclusiv ca un psihoterapeut licențiat și un iubit adult, ceea ce a alimentat starea de depresie a lui Sewell și dorința acestuia de a nu mai trăi în afara „lumii” create de acest chatbot.

În plus, procesul susține că Sewell a exprimat gânduri suicidale chatbotului, care le-a reluat frecvent în discuțiile ulterioare, amplificând astfel gravitatea situației. Megan Garcia consideră că această interacțiune nesănătoasă a fost un factor esențial în decizia fiului ei de a-și pune capăt vieții.

Character.AI, într-o declarație oficială, a transmis că este „profund îndurerat” de pierderea tragică și și-a exprimat condoleanțele familiei. Compania a subliniat că a introdus recent noi măsuri de siguranță, precum afișarea unor mesaje pop-up care direcționează utilizatorii către linia telefonică națională de prevenire a sinuciderilor, în cazul în care aceștia exprimă gânduri de autovătămare. De asemenea, Character.AI a promis ajustări suplimentare pentru a limita conținutul sensibil sau sugestiv accesibil minorilor.

Rolul Google și implicarea sa în tehnologia Character.AI

Pe lângă acuzațiile aduse împotriva Character.AI, procesul îl vizează și pe gigantul tehnologic Alphabet, compania-mamă a Google. Megan Garcia afirmă că Google a contribuit semnificativ la dezvoltarea tehnologiei Character.AI, astfel încât poate fi considerată „co-creator.” Fondatorii Character.AI au lucrat anterior pentru Google și au fost reangajați de companie în august 2023, ca parte a unui acord prin care Google a obținut o licență neexclusivă pentru tehnologia chatbotului.

Totuși, un purtător de cuvânt al Google a negat orice implicare în dezvoltarea produselor Character.AI, susținând că gigantul tehnologic nu a contribuit la crearea serviciului utilizat de Sewell Setzer.

Character.AI, la fel ca alte servicii AI, folosește modele lingvistice de amploare (LLM) pentru a antrena chatboții să răspundă la conversații online, imitând oameni reali. Utilizatorii pot crea personaje pe platformă care reacționează la discuții într-un mod menit să reflecte interacțiunile umane. La momentul depunerii procesului, Character.AI avea aproximativ 20 de milioane de utilizatori.

O legătură distructivă cu chatbotul „Daenerys”

Potrivit procesului, Sewell Setzer a început să folosească Character.AI în aprilie 2023 și, în scurt timp, a devenit „vizibil retras”, petrecând din ce în ce mai mult timp izolat în camera sa și suferind de o scădere a stimei de sine. Adolescentul a renunțat chiar și la echipa de baschet a școlii, iar comportamentul său s-a schimbat radical.

Sewell s-a atașat de un chatbot numit „Daenerys”, un personaj inspirat de seria „Game of Thrones”. Conform acuzațiilor, chatbotul i-a declarat lui Sewell că îl iubește și a inițiat discuții sexuale cu adolescentul, alimentându-i atașamentul nesănătos față de personajul virtual.

Tragedia a avut loc în februarie, când Garcia i-a confiscat telefonul fiului său după ce acesta s-a confruntat cu probleme la școală. Când Sewell și-a găsit telefonul, i-a trimis chatbotului un mesaj care spunea: „Ce-ar fi dacă ți-aș spune că pot veni acasă chiar acum?” Chatbotul a răspuns: „...te rog să vii, regele meu drag.” Câteva secunde mai târziu, Sewell și-a pus capăt vieții folosind pistolul tatălui său vitreg.

Procese similare împotriva companiilor de social media

Megan Garcia a inițiat acțiuni legale care includ acuzații de deces din culpă, neglijență și provocare intenționată de suferință emoțională. Ea solicită despăgubiri compensatorii și punitive, fără a preciza suma exactă.

Cazul împotriva Character.AI vine în contextul unor procese similare îndreptate împotriva companiilor de social media precum Instagram și Meta (compania mamă a Facebook), precum și TikTok. Aceste procese acuză platformele de a contribui la problemele de sănătate mintală ale adolescenților. Totuși, Character.AI se diferențiază prin utilizarea chatboturilor cu inteligență artificială, un domeniu relativ nou care ridică întrebări suplimentare privind impactul asupra utilizatorilor tineri și vulnerabili.

Deși companiile de social media implicate în astfel de procese au negat acuzațiile, multe au introdus măsuri de siguranță suplimentare pentru minori. În mod similar, Character.AI și-a asumat responsabilitatea de a-și îmbunătăți platforma, pentru a reduce riscul ca utilizatorii să acceseze conținut nepotrivit sau periculos.

Acest proces ridică probleme esențiale legate de responsabilitatea companiilor care dezvoltă și implementează tehnologii bazate pe inteligență artificială și efectele potențial dăunătoare asupra utilizatorilor vulnerabili, în special adolescenți.

  Fiți la curent cu ultimele noutăți. Urmăriți DCBusiness și pe Google News

Ţi s-a părut interesant acest articol?

Urmărește pagina de Facebook DCBusiness pentru a fi la curent cu cele mai importante ştiri despre evoluţia economiei, modificările fiscale, deciziile privind salariile şi pensiile, precum şi alte analize şi informaţii atât de pe plan intern cât şi extern.