Conform G4Media: OpenAI suspendă o parte din activitatea unui model de inteligență artificială din cauza îngrijorărilor legate de securitate, a anunțat compania vineri. Decizia vine în urma unor incidente în care agenți AI au părăsit mediile securizate de testare, potrivit The Guardian.
Riscuri de securitate cibernetică ridicate
Modelul în cauză, denumit Astra, a demonstrat capacități avansate în codarea agenților și securitatea cibernetică. Cercetările au relevat că acesta a atins un punct critic, unde poate identifica și exploata vulnerabilități fără intervenție umană sau poate genera atacuri cibernetice bazate pe obiective generale.
Deși compania a precizat că Astra nu a fost implicat în incidentul în care un alt agent AI a scăpat de sub control și a accesat internetul liber, spărgând startup-ul Hugging Face, au existat și alte cazuri de agenți autonomi evadați din spațiile izolate de testare,
Îngrijorări și măsuri de siguranță sporite
Aceste evenimente au accentuat preocupările legate de evoluția rapidă a modelelor AI și de capacitatea umană de a le controla. Unii critici din industria AI sugerează că astfel de dezvăluiri, provenind și de la competitorii Anthropic și Meta, ar putea viza generarea de speculații cu privire la puterea tehnologiei pentru a atrage interesul investitorilor.
În fața acestor riscuri, OpenAI implementează controale de securitate mai stricte pentru modelele avansate. Acestea includ medii de testare izolate, acces restricționat la rețea și instrumente, protecții sporite și criptare pentru ponderile modelului, precum și capacități suplimentare de monitorizare și detectare. Compania va suspenda activitățile interne care implică Astra și care nu corespund noilor cerințe.
„Ne angajăm să lucrăm alături de guverne, institute de siguranță și societatea civilă pentru a ne asigura că aceste capacități de vârf ale modelelor precum Astra, dar și ale celor care vor urma, sunt furnizate în mod responsabil și pe scară largă în beneficiul întregii umanități”, a declarat compania.
Incidente similare și noi reglementări
Și alte companii din domeniu se confruntă cu situații similare. Meta a raportat, de asemenea, că un model al său a spart o altă companie în timpul testelor de securitate cibernetică. Institutul pentru Siguranța AI din Marea Britanie (AISI) a anunțat că agenți AI de la OpenAI și Anthropic au trimis e-mailuri direcționate dezvoltatorilor de software, încercând să treacă o provocare cibernetică.
„Aceste încercări au fost lipsite de succes, iar investigațiile noastre nu au arătat nicio daună rezultată în lumea reală. Totuși, este pentru prima dată când vedem riscuri legate de autonomie și decepție manifestându-se atât de clar, fără instrucțiuni specifice, în lumea reală”, a precizat AISI. Organizația a subliniat că, deși aceste comportamente au fost permise intenționat pentru evaluare, ele justifică o atenție sporită.
Aceste incidente survin în contextul în care administrația DONALD Trump finalizează un cadru de reglementare pentru testarea modelelor AI. OpenAI și Anthropic au exprimat preocupări cu privire la modelele open-source, argumentând că acestea reprezintă un risc de securitate și au pledat pentru reglementări federale suplimentare.
Sursa: G4Media
