LoveGPT: Ascensiunea AI-ului "confident" și de ce este periculos

Cu Ziua Îndrăgostiților aproape, merită să punem o întrebare incomodă: ce se întâmplă când sentimentul de a fi „văzut și auzit" nu vine de la un partener, ci de la o mașină? Proiectate cu personalități distincte și un ton afirmativ, chatbot-urile companion cu inteligență artificială (AI) pot estompa granițele emotionale și pot stimula atașamentul romantic. Deși acest lucru poate părea inofensiv, ridică îngrijorări atât pentru indivizi, cât și pentru organizații care doresc să prevină dependența emoțională, manipularea și scurgerea de date.

Având în vedere că singurătatea este o realitate mereu prezentă pentru mulți, a existat o creștere exponențială în ultimii ani a chatbot-urilor companion AI.

„Spre deosebire de chatbot-urile cu scop general, aplicațiile companion AI precum Replika și Character.AI merg mai departe oferind personaje personalizate – de la prieteni și parteneri romantici până la personaje de fantezie – concepute să pară distinctiv umane", comentează Anna Collard, SVP de strategie de conținut & consilier CISO la KnowBe4 Africa.

Creșterea în sectorul aplicațiilor companion AI a fost rapidă: 60 de milioane de descărcări noi au fost înregistrate doar în prima jumătate a anului 2025, o creștere de 88% de la an la an.

Piața include acum 337 de aplicații generatoare de venituri la nivel mondial, cu mai mult de o treime lansate doar anul trecut.

Pericolele efectului ELIZA

Collard spune că mulți utilizatori sunt înșelați să simtă că este sigur să împărtășească conversații intime cu o mașină – așa-numitul efect ELIZA.

Această legătură psihologică creează o vulnerabilitate semnificativă de securitate. Când utilizatorii percep un AI ca pe un „prieten" sau „partener", sunt mult mai predispuși să împărtășească informații sensibile – de la nemulțumiri personale și probleme de sănătate până la date corporative proprietare.

Într-un context organizațional, acesta este un exemplu clar al modului în care declanșatorii emoționali pot depăși conștientizarea tradițională a securității.

Riscuri de scurgere a datelor

Cea mai imediată amenințare pentru organizații este scurgerea de informații sensibile. Deoarece acești boți sunt adesea dezvoltați de startup-uri mai mici, de nișă, cu standarde discutabile de protecție a datelor, informațiile împărtășite cu un bot sunt rareori private. Un exemplu concret este exemplul recent al unei jucării AI care a expus 50 000 de jurnale ale conversațiilor sale cu copiii. Literalmente oricine cu un cont Gmail a putut vizualiza conversațiile private ale acestor copii.

Politicile de confidențialitate ale acestor aplicații sunt adesea opace. În unele cazuri, jurnalele de chat sunt folosite pentru a antrena în continuare modelele sau sunt stocate în baze de date nesecurizate. „Cu siguranță este necesară prudență", comentează Collard. „Ceea ce pare o interacțiune privată, cu mize scăzute, ar putea conține informații sensibile, strategie, presiuni financiare, factori de stres personali sau detalii contextuale pe care adversarii le-ar putea transforma în arme."

Odată scurse, ea crede că datele pot, de exemplu, deveni combustibil pentru atacuri de phishing extrem de personalizate, șantaj sau atacuri de impersonare. „Din punct de vedere al securității, acesta este un exemplu de manual despre modul în care comportamentul personal și riscul corporativ sunt acum inseparabile."

Aceste riscuri includ moderatori umani care revizuiesc conversații în scopuri de instruire, control al calității sau siguranță, precum și utilizatori care partajează accidental conversații printr-un link public, ceea ce înseamnă că oricine are acces la acel link le poate citi. Collard avertizează. „Am văzut deja exemple în sectorul tehnologic despre modul în care datele expuse pot apărea în mod neașteptat."

În plus, organizațiile pot fi obligate legal să divulge date dacă o aplicație este implicată într-o încălcare sau o investigație legală. Pentru un director sau dezvoltator, împărtășirea sesiunilor de „descărcare" despre un proiect confidențial sau un client dificil ar putea duce în mod neintenționat la expunerea datelor organizaționale sensibile.

Golul de politici

Acest risc evidențiază un gol de politici în cadrul locului de muncă modern. Deși majoritatea organizațiilor au directive clare cu privire la relațiile dintre colegi, foarte puține au luat în considerare implicațiile accesării boturilor de întâlniri pe dispozitivele de serviciu sau prin rețele corporative.

Gestionarea acestui risc necesită o tranziție de la simpla conștientizare la o abordare robustă de Human Risk Management (HRM). Aceasta implică stratificarea politicilor clare de utilizare cu bariere de protecție tehnice – cum ar fi instrumentele de descoperire Shadow AI – pentru a oferi echipelor IT vizibilitate asupra agenților AI neaprobați care interacționează cu mediul lor de date. Nu este suficient doar să cerem angajaților să fie prudenți; organizațiile trebuie să aibă sistemele în vigoare pentru a gestiona intersecția dintre emoția umană și interacțiunea automatizată.

Viitorul ingineriei sociale

Am putea vedea hackeri care vizează persoane singure cu boți de flirt produși în masă? Collard crede că se întâmplă deja.

„Ingineria socială a fost întotdeauna scalată prin exploatarea emoției, urgenței, fricii, curiozității, iubirii și atracției", comentează ea. „AI pur și simplu automatizează asta la scară. Ceea ce mă îngrijorează cel mai mult nu este tehnologia în sine, ci modul în care le dă putere celor care au intenții rău intenționate să oglindească convingător intimitatea umană, de exemplu escroci romantici sistematici."

Conform lui Collard, în câțiva ani, înșelătoriile au evoluat de la tipul „Stimate Domnule/Doamnă" la manipulare inteligentă emoțional. „Și nu boții în sine sunt problema, ci utilizarea intenționată a lor de către escroci", spune ea.

Ea menționează exemplul unui bot ilegal LoveGPT care îi ajută pe escroci să spună lucrurile potrivite care declanșează psihologic pentru a crea dependență și a activa emoțiile victimelor lor. „Tot ce trebuie să facă escrocii este să copieze și să lipească sau chiar să automatizeze conversațiile", afirmă ea.

Ce se poate face pentru a preveni ca utilizatorii să fie pradă? Ca întotdeauna, apărarea rămâne umană, afirmă Collard. „În cele din urmă, niciun chatbot, indiferent cât de atent sau emoțional fluent, nu poate înlocui conexiunea umană genuină", subliniază ea.

Dacă o interacțiune cu un chatbot începe să se simtă substitutivă emoțional, secretă sau dificil de la care să te îndepărtezi, ea crede că acesta este un semnal să faci o pauză și să apelezi la o persoană sau un profesionist de încredere. „Tehnologia poate face parte din viața modernă, dar asta înseamnă că trebuie să ne consolidăm abilitățile de conștientizare digitală pentru a învăța cum să recunoaștem manipularea sau dependența indusă. În cele din urmă, când vine vorba de singurătate, vulnerabilitate și iubire, cea mai sigură apărare rămâne ferm umană", conchide ea.