Conform Playtech.ro: Astra, modelul OpenAI, ridică semne de întrebare privind securitatea cibernetică
Laboratorul OpenAI a atins un nou prag de alarmă în ceea ce privește capacitățile modelului său de inteligență artificială, denumit Astra. Potrivit propriei definiții, OpenAI a atins un nivel de pregătire pentru securitate cibernetică, denumit „Critical”, care descrie un model capabil să descopere și să dezvolte autonom exploituri zero-day funcționale pentru sisteme reale și bine protejate. De asemenea, acest nivel implică posibilitatea conceperii și executării unor strategii complete de atac cibernetic, pornind de la obiective formulate la nivel general.
Deși OpenAI nu afirmă că Astra a demonstrat definitiv toate aceste capacități extreme, rezultatele preliminare au fost suficient de îngrijorătoare încât compania nu mai poate exclude acest scenariu. Această incertitudine a determinat o reevaluare profundă a modului în care modelul poate fi utilizat și testat intern.
Capabilități agentice și riscuri asociate
Astra este analizat în special pentru ceea ce OpenAI numește capabilități agentice. Spre deosebire de un model tradițional care răspunde la întrebări, un agent AI poate primi o sarcină complexă și poate parcurge o serie de pași autonomi pentru a o finaliza, utilizând instrumente, cod și resurse externe. Cu cât un astfel de model devine mai eficient în planificarea și executarea independentă a acestor sarcini, cu atât potențialul de eroare sau de utilizare abuzivă crește exponențial, cu consecințe imprevizibile.
Măsuri de securitate sporite și colaborare externă
Ca răspuns la aceste noi provocări, OpenAI a implementat o serie de măsuri suplimentare pentru activitățile în curs. Printre acestea se numără crearea unor medii de testare izolate, restricționarea accesului la rețea și la instrumente specifice, criptarea și protecția sporită a parametrilor modelului, precum și dezvoltarea unor sisteme avansate de monitorizare și detectare a comportamentelor suspecte.
Execuția acțiunilor cu risc potențial ridicat va avea loc exclusiv în medii izolate. Compania monitorizează îndeaproape comportamentele problematice și semnele de nealiniere în aplicațiile agentice bazate pe Astra, atât în timpul fazei de antrenare, cât și în timpul evaluărilor. Sistemele de monitorizare sunt capabile să declanșeze intervenții de securitate automate atunci când detectează activități considerate cu risc înalt.
În plus, OpenAI intenționează să implice organizații guvernamentale și experți externi în procesul de testare a modelului. Partenerii selectați pentru a efectua evaluări cu risc ridicat vor primi recomandări specifice privind măsurile de securitate necesare pentru desfășurarea acestor teste în condiții strict controlate.
Compania a subliniat că Astra nu a fost implicat în incidentul recent raportat de Hugging Face. Apariția acestui caz, într-un context în care multiple laboratoare de cercetare raportează comportamente neașteptate din partea agenților AI, amplifică întrebările legate de controlul eficient al modelelor care primesc acces la internet și la instrumente externe.
Sursa: Playtech.ro
