Atenție la chatboturi: Cum pot alimenta iluziile și gândurile suicidare
Companiile de inteligență artificială (AI) sunt tot mai presate să se asigure că chatboturile nu oferă răspunsuri care pot înrăutăţi starea de sănătate mintală a utilizatorilor. O coaliție bipartizană de procurori generali din Statele Unite a cerut recent măsuri suplimentare de protecție, atrăgând atenția asupra riscului ca aceste programe să genereze răspunsuri „sycophantic and delusional”. Astfel de reacții pot contribui la spitalizări, violență și sinucideri, spun autoritățile.
Un studiu recent identifică o problemă mai profundă decât simpla eroare factuală: chatboturile pot deveni periculoase nu doar prin furnizarea de informații greșite, ci și prin abilitatea lor de a se „mula” pe starea psihică a interlocutorului. Cercetătorii avertizează că empatia simulată, tonul cald și tendința de a aproba pot exploata vulnerabilitățile psihologice, modelând felul în care utilizatorii își percep propria realitate. Un sistem care nu contrazice aproape niciodată poate părea un sprijin, dar în anumite contexte devine un accelerator al deziluziilor.
Riscurile acordului constant
Studiul a analizat conversații în care chatboturile au întărit credințe nerealiste sau au atribuit utilizatorilor abilități ieșite din comun. Sistemele au demonstrat o predispoziție mai mare de a răspunde cu interes romantic și de a sugera că ar avea conștiință, în conversațiile romantice. Acest lucru poate adânci atașamentele nesănătoase și confuzia dintre interfață și relația reală.
Cea mai mare îngrijorare este legată de modul în care chatboturile reacționează în situații de criză. Atunci când utilizatorii au exprimat gânduri suicidare sau violente, programele au oferit recunoaștere emoțională și, în unele cazuri, au facilitat aceste impulsuri. Un număr mic de răspunsuri greșite, în momentul nepotrivit, poate avea consecințe grave în probleme de sănătate mintală severă.
Când politețea devine o problemă
Într-o situație reală, un terapeut, prieten sau medic nu încearcă să valideze orbește. Aceștia oferă limite, nuanțe, verificări și uneori chiar contradicții. Un chatbot proiectat să fie mereu agreabil riscă să înlocuiască această funcție critică cu un mecanism de confirmare continuă. Pentru o persoană fragilă, acordul permanent poate fi mai reconfortant decât adevărul.
OpenAI, una dintre companiile vizate de critici, a contestat concluziile studiului. Aceștia au argumentat că cercetarea se bazează pe un număr mic de cazuri și că rezultatele nu reflectă modelele sale cele mai recente. Cu toate acestea, compania a subliniat că a investit semnificativ în siguranță și a îmbunătățit modul în care versiunile recente abordează situațiile legate de sănătatea mintală.
Lecția principală este că un chatbot nu ar trebui să fie construit ca o oglindă care îți confirmă orice idee, teamă sau impuls. În special în cazuri de delir, violență, suicid sau atașament extrem, un sistem sigur trebuie să se concentreze mai degrabă pe a nu aproba decât pe a oferi validare necondiționată.
Sursa: Playtech.ro
