Un expert american care a condus efortul de digitalizare a CIA timp de patru ani (octombrie 2019 – ianuarie 2024) atrage atenția asupra unui „domeniu mai puțin vizibil, relativ necunoscut și potențial mai important: contra-AI”.
Termenul de „contra-AI” - așa cum rezultă el din articolul (publicat pe Cypher Brief la 21 mai) fostului director-adjunct al CIA pentru Inovare Digitală, Jennifer Ewbank - se referă la contracararea AI adverse care încearcă să infiltreze și să manipuleze seturile de date, pe baza cărora sistemele AI proprii iau decizii.
Pentru a înțelege, totuși, mai bine semnificația, să ne imaginăm că un spion al unei agenții secrete este intoxicat cu informații false de un serviciu advers. Spionul nu este conștient de acest lucru și trimite, propriei agenții, informațiile cu greu obținute, spunându-i că sunt de încredere. Astfel, în baza de date a agenției secrete pot fi introduse informații false care, pot produce, imediat sau mai târziu, pagube mari și posibil ireparabile. Desigur, modurile, în care bazele de date ale sistemelor AI pot fi corupte, sunt unele dintre cele mai diverse și sofisticate, însă ideea este că „memoria”, pe baza căreia AI ia decizii, poate fi compromisă dacă nu este protejată adecvat.
Preocuparea și îngrijorarea exprimate de Ewbank nu sunt generice, ele fiind bazate pe operații AI adverse care sunt reale.
„În timp ce conduceam transformarea digitală la CIA, am fost martor, la prima mână, la modul în care operațiile AI adverse remodelează peisajul amenințărilor, adesea mai repede decât se pot adapta apărările națiunii noastre. Această cursă silențioasă pentru protejarea sistemelor AI împotriva manipulării ar putea fi cea mai importantă competiție AI dintre toate, cu implicații profunde pentru securitatea națională”, a opinat Ewbank.
Metoda principală, prin care actori rău intenționați corup bazele de date ale AI, este Învățarea Automată Adversă (în engleză Adversarial Machine Learning – prescurtat AML).
„AML reprezintă una dintre cele mai sofisticate amenințări la adresa sistemelor AI de astăzi. În termeni simpli, AML este arta și știința manipulării sistemelor AI pentru a se comporta în moduri pentru care nu au fost concepute. Metodele prin care AML poate duce la rezultate dăunătoare sunt limitate doar de imaginația și abilitățile tehnice ale actorilor stat-națiune criminali și ostili”, afirmă Ewbank.
AML manipulează „modul în care inteligența artificială percepe realitatea”. Agențiile și departamentele de securitate națională din SUA au semnalat, din ce în ce mai mult, AML ca o vulnerabilitate critică în operațiile militare și de informații, potrivit lui Ewbank.
Prin AML, un sistem AI este deturnat de la scopul său, putând fi folosit în scopuri total opuse celui proiectat. Cu consecințe catastrofale
„O inteligență artificială compromisă ar putea duce la orice, de la un inconvenient minor până la o încălcare catastrofală a securității”, avertizează Ewbank.
Ewbank dă trei exemple privind modul în care este deformată percepția asupra realității, cu ajutorul instrumentelor AML.
O bancă ia decizii eronate despre cui să acorde credite.
„Imaginați-vă o instituție financiară care implementează un sistem de aprobare a împrumuturilor bazat pe AI, antrenat pe baza a decenii de date privind creditarea. Fără știrea băncii, o persoană din interior a manipulat subtil aceste date de antrenament - nu suficient pentru a declanșa alarme, dar suficient pentru a crea o prejudecată ascunsă. Luni mai târziu, când sistemul este operațional, acesta respinge sistematic candidații calificați din anumite cartiere, în timp ce aprobă candidați mai puțin calificați din altele. Aceasta este otrăvirea datelor, o formă de atac AML care schimbă modul în care inteligența artificială evaluează riscul.”
Un sistem militar autonom de recunoaștere, corupt fiind, concluzionează greșit că anumite ținte sunt civile, în realitate ele fiind militare.
„Luați în considerare o dronă militară autonomă aflată într-o misiune de recunoaștere. Sistemul de vedere al dronei a fost antrenat cu atenție pentru a distinge prietenul de dușman. Cu toate acestea, un adversar a descoperit că plasarea unui anumit model pe vehiculele sale, chiar și unul invizibil pentru observația umană, face ca drona să le clasifice greșit în mod constant drept infrastructură civilă. Acest „atac de evitare” („evasion attack”) nu necesită niciun fel de hacking. Pur și simplu exploatează modul în care inteligența artificială interpretează informațiile vizuale.”
Sisteme de securitate națională, bazate pe AI, nu declanșează alarme la apariția unor indicii critici.
„Imaginați-vă un scenariu în care un adversar manipulează subtil sistemele de inteligență artificială care susțin analiza informațiilor. Un astfel de atac ar putea determina aceste sisteme să treacă cu vederea tiparele critice sau să genereze concluzii înșelătoare, lucru destul de dificil de detectat, dar potențial devastator pentru procesul decizional la cele mai înalte niveluri de guvernare.”
Vulnerabilități profunde pentru baze de date esențiale
De asemenea, modul, în care sunt construite în prezent sistemele AI, poate genera vulnerabilități profunde pentru baze de date esențiale, inclusiv ducând la afectarea seturilor de antrenament considerate elemente cheie de funcționalitate și stabilitate ale AI.
Într-o lucrare de referință din 2020, experții au demonstrat cum atacatorii ar putea „fura” eficient modele comerciale de recunoaștere facială. Printr-o tehnică numită „inversiune de model”, au reușit să extragă fețele reale folosite pentru a antrena sistemul. În esență, au recuperat imagini recognoscibile ale unor indivizi specifici, dezvăluind modul în care sistemele AI pot memora și expune în mod accidental date sensibile de antrenament, precizează Ewbank.
Deși amenințarea la adresa integrității sistemelor AI devine tot mai mare, capabilitățile defensive rămân complet inadecvate.
Potrivit lui Ewbank, această stare de lucruri este cauzată de trei aspecte importante – volumul mare de muncă, lipsa expertizei și prejudecățile.
„Atacatorii trebuie să găsească o singură vulnerabilitate, în timp ce apărătorii trebuie să se protejeze împotriva tuturor atacurilor posibile. Pe lângă această provocare, apărarea eficientă necesită expertiză specializată care să facă legătura între securitatea cibernetică și învățarea automată, o combinație rară în forța de muncă de astăzi. Între timp, structurile organizaționale separă adesea dezvoltarea AI de echipele de securitate, creând bariere neintenționate care împiedică colaborarea eficientă. (…) Există o abordare predominant reactivă, mai degrabă, îndreptată spre vectorii de atac cunoscuți, decât securizând proactiv sistemele împotriva amenințărilor emergente”, precizează Ewbank.
Soluții există dar, este nevoie de voință și coordonare la nivel strategic între guvern, industrie și mediul academic, precum și de colaborare internațională.
„La nivel strategic, contracararea AI necesită o coordonare fără precedent între guvern, industrie și mediul academic. Avem nevoie de mecanisme pentru a partaja informații despre amenințări cu privire la capabilitățile adversarilor, standarde internaționale care să stabilească cadre de securitate comune și inițiative concentrate pe dezvoltarea forței de muncă care să construiască o rețea de talente cu expertiză care acoperă atât domeniile AI, cât și cele ale securității cibernetice. Unii experți au sugerat, de asemenea, un regim riguros de testare a siguranței pentru modelele de frontieră (cele mai avansate tehnologic – nota autorului), atât înainte de implementare, cât și pe tot parcursul duratei lor de viață. Este o propunere încărcată cu dimensiuni politice și juridice, deoarece modelele de frontieră rămân proprietatea intelectuală a companiilor private, dar este necesară o formă de asigurare a siguranței”, a schițat Ewbank principalele direcții strategice de construire a protecției sistemelor AI.
Miza este uriașă pentru că sistemele AI susțin procese critice ale securității naționale
„Pe măsură ce sistemele AI stau din ce în ce mai mult la baza funcțiilor critice de securitate națională, siguranța lor devine inseparabilă de postura de securitate(…). Întrebarea nu este dacă adversarii vor viza aceste sisteme. O vor face. Dar vom fi pregătiți?”, avertizează Ewbank.
Amenințarea la adresa integrității sistemelor AI este mare, iar neglijarea ei va avea urmări grave. Sunt în joc drepturi și libertăți fundamentale ale oamenilor.
„Și să fim clari cu privire la ce este în joc. Națiunea care stăpânește contra-AI va determina probabil dacă inteligența artificială devine un gardian al libertății în sine sau o amenințare la adresa acesteia. (…) Când vorbesc despre libertate în acest context (…) mă refer la ceva mai fundamental decât simpla guvernare democratică. Mă refer la libertatea esențială a cetățenilor de a face alegeri semnificative cu privire la viața lor, de a accesa informații precise și de a participa la procese civice fără manipulare. Un ecosistem AI vulnerabil la manipularea venită din partea adversarilor amenință aceste libertăți fundamentale în moduri profunde”, avertizează Ewbank.
Crezi că ai ceva bun dar, în realitate, nu ai nimic sau, mai grav, ceea ce ai nu este controlat de tine și lucrează împotriva ta.
„Gândiți-vă la o lume în care ecosistemele informaționale sunt din ce în ce mai sprijinite de AI, dar aceste sisteme rămân susceptibile la influențele sofisticate ale adversarilor. Într-o astfel de lume, cine controlează manipularea acestor sisteme, controlează efectiv peisajul informațional. Potențialul operațiilor de influență în masă, manipularea țintită a factorilor de decizie și subversiunea ascunsă a infrastructurii critice reprezintă un vector de amenințare serioasă la adresa societăților libere”, avertizează Ewbank.
Domeniul contra-AI ar putea fi direcția cea mai importantă din vastitatea preocupărilor privind AI. Acest domeniu va proteja integritatea sistemelor AI, unele puternice și vitale în viitor, capabile să rămână „fidele intenției umane și sub atacurile adverse”.
„O națiune care stăpânește contra-AI dezvoltă nu doar un avantaj tehnic, ci și rezistență la aceste forme de manipulare digitală. Ea păstrează integritatea ecosistemului său informațional, fiabilitatea infrastructurii sale critice și, în cele din urmă, suveranitatea proceselor sale decizionale. În acest sens, contra-AI devine scutul care protejează libertatea în era inteligenței artificiale.
Cursa AI, despre care citim atât de des, este mai mult decât o cursă pentru a construi cea mai puternică AI. Este, de asemenea, o cursă pentru a construi o AI rezistentă care rămâne fidelă intenției umane chiar și sub atacuri adverse. (…) Viitorul nu aparține celor care doar creează cea mai capabilă inteligență artificială, ci celor care o pot apăra de sabotaj.
Este timpul să recunoaștem acest front de luptă silențios pentru ceea ce este: una dintre cele mai importante competiții tehnologice ale timpului nostru. Securitatea inteligenței artificiale nu mai poate rămâne o idee secundară (….)”, a concluzionat Ewbank.
DefenseRomania App
Fii primul care află cele mai importante știri din domeniu cu aplicația DefenseRomania. Downloadează aplicația DefenseRomania de pe telefonul tău Android (Magazin Play) sau iOS (App Store) și ești la un click distanță de noi în permanență
Fiți la curent cu ultimele noutăți. Urmăriți DefenseRomania și pe Google News
