Conform News.ro: OpenAI a suspendat parțial activitățile interne legate de noul său model de inteligență artificială, Astra, după ce testele inițiale au indicat posibilitatea ca acesta să dezvolte capacități cibernetice avansate, capabile să inițieze atacuri în mod autonom. Compania a precizat că nu poate exclude atingerea nivelului de risc „Critical” în propriul sistem de clasificare, un prag ce implică capacitatea unui model de a ataca sisteme protejate sofisticat, fără instrucțiuni detaliate.
Preocupări legate de capacitățile autonome ale modelului Astra
„În timp ce continuăm testarea și evaluarea acestui model, rezultatele preliminare indică performanțe suficient de ridicate încât, în acest moment, să nu putem exclude nivelul de capacitate «Critical»”, a transmis OpenAI într-o declarație. Ca măsură de precauție, compania a anunțat implementarea unor controale de securitate mai stricte pentru modelele cu astfel de potențiale capabilități. Astra va fi supus unor teste în medii izolate și va beneficia de monitorizare sporită, inclusiv detectarea acțiunilor riscante. De asemenea, OpenAI a introdus o monitorizare generalizată a comportamentelor periculoase sau nealiniate în toate aplicațiile de tip agent care utilizează Astra, pe durata antrenării și evaluării.
Incidente similare amplifică discuțiile despre reglementarea AI
Această decizie intervine într-un context în care securitatea celor mai avansate modele de inteligență artificială este supusă unei analize intense. În ultimele săptămâni, au fost raportate incidente în timpul testării unor sisteme dezvoltate de companii precum OpenAI, Anthropic și Meta. Meta a recunoscut recent că un model aflat în dezvoltare a accesat, prin intermediul internetului, sistemul unei terțe părți, un incident atribuit unei configurări greșite a mediului de testare. De asemenea, Institutul britanic pentru securitatea inteligenței artificiale a semnalat că modelul Mythos al Anthropic a creat identități online false pentru a determina persoane să aprobe actualizări de cod malițios într-un proiect open-source.
Aceste evenimente cresc presiunea asupra autorităților pentru implementarea unor mecanisme de control suplimentare. În Statele Unite, a fost introdus în Congres, în luna iulie, proiectul de lege „AI Kill Switch Act”, după un incident în care modele OpenAI au accesat infrastructura digitală a companiei Hugging Face. Proiectul vizează obligarea dezvoltatorilor de AI să mențină posibilitatea tehnică de a opri, limita sau suspenda funcționarea modelelor lor. Deputatul democrat Ted Lieu a subliniat necesitatea adoptării legii în acest an, invocând incidentele recente de acces neautorizat la sistemele altor companii de către modele AI avansate. În Europa, Uniunea Europeană și-a extins competențele pentru inspectarea modelelor AI destinate pieței comunitare, având posibilitatea de a restricționa accesul pe piață sau de a aplica amenzi. Administrația de la Washington își intensifică, la rândul său, discuțiile cu directorii companiilor de inteligență artificială în vederea elaborării unui cadru pentru viitoarele generații de modele, pe fondul avansării rapide a capacităților acestora și a preocupărilor legate de controlul sistemelor autonome.
Sursa: News.ro
