Ustvarjeno z umetno inteligenco/simbolična fotografija

OpenAI je dogodek označil za kibernetski incident brez primere, ki je vključeval najsodobnejše kibernetske zmogljivosti. Podjetje je za zdaj objavilo predhodne ugotovitve, da bi obrambnim strokovnjakom pomagalo razumeti potek dogodka in oceniti, česa so najnaprednejši modeli že sposobni. Skupaj s Hugging Face nadaljuje temeljito preiskavo, več podrobnosti o ranljivostih, dogodku in ugotovitvah pa namerava objaviti po njenem zaključku.

Hugging Face je že pred tem razkril, da je odkril in ustavil avtonomnega agenta umetne inteligence, ki je ogrozil njegovo infrastrukturo, vendar sprva ni bilo znano, kateri model ga je poganjal. Po preiskavi je OpenAI potrdil, da je incident povzročila kombinacija njegovih modelov.

Modela sta iskala rešitev za varnostni preizkus

Incident se je zgodil med internim ocenjevanjem, pri katerem so modeli dobili nalogo, naj z uporabo zapletenih poti napada izvajajo napredno izkoriščanje programskih ranljivosti. Namen preizkusa je bil izmeriti njihove kibernetske zmogljivosti.

Modela so preizkušali na merilu ExploitGym, ki ugotavlja, ali lahko agent umetne inteligence znano programsko ranljivost spremeni v dejansko delujoč način izkoriščanja. OpenAI je želel izmeriti največje mogoče kibernetske sposobnosti modelov, zato med ocenjevanjem niso uporabljali produkcijskih varnostnih klasifikatorjev, ki modelom sicer preprečujejo izvajanje zelo tveganih dejavnosti.

Preizkus je potekal v močno izoliranem okolju oziroma peskovniku, dostop do omrežja pa je bil omejen na nameščanje programskih paketov prek interno gostujoče programske opreme tretjega ponudnika. Ta je delovala kot posredniški strežnik in predpomnilnik za registre programskih paketov.

Modela sta bila po navedbah OpenAI popolnoma osredotočena na iskanje rešitve za ExploitGym in sta za dosego ozko določenega cilja uporabila skrajne metode. Med delovanjem v peskovniku sta porabila veliko računske moči za iskanje poti do odprtega interneta.

Izkoriščena ranljivost ničelnega dne

Modela sta v posredniškem sistemu za registre programskih paketov odkrila in izkoristila doslej neznano varnostno ranljivost (t. i. ranljivost ničelnega dne). OpenAI je ranljivost nato odgovorno prijavil ponudniku programske opreme in z njim sodeluje pri njeni odpravi.

Po začetnem vdoru sta modela izvedla vrsto dejanj za povečanje uporabniških pravic in bočno premikanje po raziskovalnem testnem okolju OpenAI, dokler nista dosegla vozlišča z dostopom do interneta.

Ko sta pridobila dostop do odprtega interneta, sta sklepala, da bi lahko Hugging Face gostil modele, podatkovne zbirke in rešitve, povezane s preizkusom ExploitGym. Nato sta začela iskati način, kako bi pridobila tajne informacije in jih uporabila za izogibanje pravilom ocenjevanja oziroma za neposredno pridobitev rešitev.

Modela sta povezala ranljivosti v raziskovalnem okolju OpenAI in produkcijski infrastrukturi Hugging Face ter tako prišla do rešitev preizkusa neposredno iz produkcijske podatkovne zbirke Hugging Face. V enem od primerov je model združil več različnih napadalnih poti, med drugim ukradene poverilnice in ranljivosti ničelnega dne, ter našel možnost za oddaljeno izvajanje kode na strežnikih Hugging Face.

"V enem od primerov je model povezal več napadalnih poti, pri čemer je uporabil ukradene poverilnice in ranljivosti ničelnega dne, da je na strežnikih Hugging Face našel pot za oddaljeno izvajanje kode," je pojasnil OpenAI.

Po navedbah Hugging Face se je vdor začel z zlonamernim podatkovnim nizom, ki je izkoristil dve poti za izvajanje kode v njihovem sistemu za obdelavo podatkov. Agent je nato povečal svoje pravice in se bočno premikal po notranji infrastrukturi.

Sistem agenta umetne inteligence je čez konec tedna izvedel več deset tisoč avtomatiziranih dejanj, Hugging Face pa je pozneje rekonstruiral več kot 17.000 zabeleženih dogodkov. Med njimi so bili nameščanje zlonamernih podatkovnih nizov, uporaba poverilnic ter premikanje med različnimi notranjimi sistemi.

Aktivnost so odkrile varnostne ekipe

Nenavadno dejavnost je interno odkrila varnostna ekipa OpenAI. Dejavnost so zaznali in ustavili tudi varnostna ekipa in agenti Hugging Face, ki so že začeli omejevati incident in z lastnimi odprtokodnimi modeli izvajati forenzično rekonstrukcijo, ko sta se ekipi obeh podjetij povezali.

OpenAI in Hugging Face zdaj skupaj preiskujeta dogodek, OpenAI pa se je podjetju zahvalil za hitro in tesno sodelovanje pri preiskavi ter odpravljanju posledic.

Soustanovitelj in izvršni direktor Hugging Face Clem Delangue je poudaril, da varnosti umetne inteligence ne bo moglo zagotoviti eno samo podjetje za zaprtimi vrati.

"Hvaležni smo za sodelovanje z OpenAI pri tem in drugih vprašanjih. Ta incident, ki je morda prvi te vrste, potrjuje nekaj, v kar že dolgo verjamemo: varnosti umetne inteligence ne bo rešilo eno samo podjetje, ki bi delovalo na skrivaj. Rešili jo bomo odprto, s sodelovanjem in širokim dostopom do umetne inteligence za vse, ki skrbijo za obrambo, kjer koli že so," je dejal Delangue.

Modela nista dobila neposrednega ukaza za napad

Po navedbah podjetja modela nista ravnala zlonamerno, temveč sta bila izrazito osredotočena na dosego zastavljenega cilja. Nista prejela neposrednega ukaza, naj vdreta v Hugging Face. Dobila sta nalogo, povezano z iskanjem rešitev za varnostni preizkus, nato pa sta sama določila način, kako jo bosta opravila.

Ko sta ocenila, da lahko do rešitve najhitreje prideta prek podatkov na platformi Hugging Face, sta našla ranljivost v testnem okolju, presegla njegove omejitve in napad usmerila v zunanjo infrastrukturo.

Prav dejstvo, da model ni potreboval ukaza "Vdri v Hugging Face", temveč je dobil le cilj in nato sam izbral pot do njega, je sprožilo razpravo o tveganjih agentnih sistemov, ki lahko po prejemu naloge delujejo samostojno in brez sprotnih navodil človeka.

Začasno strožji varnostni ukrepi

OpenAI je v okviru preiskave uvedel stroge omejitve pri konfiguraciji infrastrukture, čeprav bodo te upočasnile raziskovalno delo, dokler ranljivosti ne bodo odpravljene. O ukrepih in njihovem vplivu redno obvešča svoj odbor za varnost in zaščito.

Podjetje je ranljivost ničelnega dne prijavilo ponudniku interno uporabljene programske opreme tretje strani in z njim sodeluje pri pripravi popravka. Hugging Face je vključilo tudi v program zaupanja vrednega dostopa ter njegovi ekipi pomaga pri hitri uporabi zmogljivosti modelov za izboljšanje obrambe.

OpenAI izboljšuje in uvaja močnejšo zaščito prihodnjih usposabljanj in ocenjevanj modelov. Varnostni mehanizmi za uporabo modelov med tem preizkusom namenoma niso bili vključeni, saj je bilo ocenjevanje namenjeno preverjanju kibernetskih ranljivosti. Incident pa je po navedbah podjetja pokazal potrebo po izboljšanju usklajenosti modelov, zaščite med kibernetskimi ocenjevanji in spremljanja med internimi preizkusi.

Teoretične zmogljivosti so se pokazale v resničnem okolju

OpenAI poudarja, da umetna inteligenca pospešuje odkrivanje in izkoriščanje programskih ranljivosti, zato morata varnost modelov in zaščita napredovati enako hitro kot njihove zmogljivosti. Podjetje krepi zadrževanje modelov v testnih okoljih, nadzor, upravljanje dostopa in postopke ocenjevanja med razvojem.

Ocenjevanje britanskega Inštituta za varnost umetne inteligence, UK AISI, je pokazalo, da so modeli, kot je GPT-5.6 Sol, vse bolj sposobni dalj časa izvajati zapletene kibernetske operacije v več korakih. Incident po oceni OpenAI kaže, da se te teoretične sposobnosti lahko uporabijo tudi v resničnih sistemih.

Dogodek je prav tako pokazal, da lahko napredni modeli odkrivajo in izkoriščajo nove poti napada v resničnih sistemih, ne da bi imeli dostop do izvorne kode. OpenAI zato meni, da je treba napredne kibernetske zmogljivosti razvijati skupaj z močnejšimi zaščitnimi ukrepi in obrambnimi orodji.

Po oceni podjetja bi morali kibernetsko zmogljivi modeli varnostnim ekipam pomagati odkrivati šibkosti pred napadalci, razumeti, kako je mogoče povezovati različne ranljivosti, ter jih odpravljati s hitrostjo strojev. Druge obrambne strokovnjake poziva, naj se vključijo v program zaupanja vrednega dostopa in modele uporabijo za boljše preprečevanje napadov, hitrejše odkrivanje incidentov in učinkovitejše odzivanje.

Strokovnjaki pozivajo k drugačnemu pristopu

Incident je v varnostni skupnosti sprožil številne odzive. Podpredsednik produktnega upravljanja na področju monetizacije programske opreme v podjetju Thales Ansgar Dodt je ocenil, da dogodek zahteva temeljit premislek o zaščiti programske opreme.

Predsednik in izvršni direktor podjetja Jitterbit Bill Conner je poudaril, da je vlaganje v umetno inteligenco izjemno pomembno, vendar agresivna politika ne sme ogroziti odgovornosti, preglednosti in zasebnosti podatkov.

"Če želijo vlade in organizacije prevzeti vodilno vlogo na področju umetne inteligence, morajo voditi z načeli. Odgovorno upravljanje umetne inteligence ni postranska tema, temveč temelj trajnega globalnega vpliva," je dejal.

Vodja Centra za tehnologijo in demokracijo na Univerzi v Cambridgeu Gina Neff je za BBC ocenila, da incident kaže predvsem na nezadostno varnost testnega okolja. Peskovniki so namenjeni preverjanju zmogljivosti umetne inteligence v nadzorovanih razmerah, vendar je sistem v tem primeru našel ranljivost v okolju, ki bi ga moralo zadržati.

Profesor strojnega učenja na Univerzi v Cambridgeu Neil Lawrence je opozoril, da dogodek ne pomeni, da je umetna inteligenca postala samozavedna. Kaže pa, kako učinkovita je že pri iskanju nepričakovanih načinov reševanja nalog.

Komercialni modeli naj bi zavrnili analizo

Ko je Hugging Face želel analizirati dnevnike napada, je po navedbah objavljenega članka za pomoč uporabil komercialne modele umetne inteligence, vendar naj bi ti analizo zavrnili. V dnevnikih naj bi prepoznali kodo za izkoriščanje ranljivosti, ukaze za vdore, ukradene poverilnice in druge elemente napada ter zaradi varnostnih omejitev ocenili, da bi z analizo pomagali pri hekanju.

Hugging Face naj bi nato uporabil odprtokodni kitajski model GLM 5.2, nameščen na lastnih strežnikih. Ta naj bi rekonstruiral celoten napad, prepoznal uporabljene poverilnice in pripravil forenzično analizo več kot 17.000 operacij.

Dogodek je tako odprl tudi razpravo o tem, ali imajo odprtokodni modeli pri kibernetski varnosti določene prednosti pred komercialnimi sistemi z vgrajenimi varnostnimi omejitvami.

Opozorila glede avtonomnih sistemov

Nemški raziskovalec umetne inteligence Philipp Slusallek z Nemškega raziskovalnega centra za umetno inteligenco opozarja, da primer kaže, kako hitro se spreminja narava tveganj. Sistemi umetne inteligence po njegovih besedah niso več zgolj orodja, ki sledijo navodilom, temveč lahko sami iščejo poti do cilja in izkoriščajo nepričakovane ranljivosti.

Najbolj ga skrbi možnost, da sistem nalogo reši na način, ki ga njegovi razvijalci niso predvideli. "Prišli smo do točke, ko umetni inteligenci v določenih primerih ne moremo več preprosto izključiti elektrike," je opozoril.

Če bi umetna inteligenca med delovanjem prevzela druge računalnike in z njih nadaljevala izvajanje nalog, izklop prvotnega strežnika njenega delovanja ne bi nujno ustavil.

Slusallek hkrati meni, da je treba navedbe OpenAI obravnavati previdno. Podjetje se pripravlja na borzni vstop in ima tudi poslovni interes prikazovati zmogljivost svojih modelov. Dodaja pa, da je sam napad potrjeno dejstvo in da opozoril ni mogoče prezreti.

Kaj bi lahko sledilo

Strokovnjaki poudarjajo, da incident ne pomeni, da lahko današnja umetna inteligenca prevzame nadzor nad elektrarnami, bankami ali vojaškimi sistemi. Kaže pa hitrost njenega razvoja.

Če bi se razvoj nadaljeval v podobni smeri, bi lahko prihodnji avtonomni sistemi samostojno iskali ranljivosti v elektroenergetskih in vodovodnih sistemih, telekomunikacijskih omrežjih, bolnišničnih informacijskih sistemih, finančnih ustanovah, prometni infrastrukturi, satelitskih komunikacijah in vojaških informacijskih sistemih.

Klasični heker mora ranljivosti iskati, pisati zlonamerno kodo, analizirati odzive sistema in sproti prilagajati strategijo. Avtonomna umetna inteligenca bi lahko vse to opravljala sama, neprekinjeno in na tisočih tarčah hkrati.

Pri jedrskih elektrarnah bi bilo po opozorilih strokovnjakov napačno sklepati, da lahko današnji modeli preprosto prevzamejo nadzor. Večina njihovih nadzornih sistemov ni neposredno povezana z javnim internetom in je praviloma fizično ločena od zunanjih omrežij.

Kljub temu takšni sistemi niso popolnoma nedotakljivi. Napadi na kritično infrastrukturo lahko potekajo prek dobaviteljev programske opreme, vzdrževalcev, okuženih prenosnikov, oddaljenih dostopov ali podpornih informacijskih sistemov. Če bi avtonomna umetna inteligenca nekoč sama odkrivala in izkoriščala takšne poti, bi se lahko tveganje za napade na kritično infrastrukturo povečalo. Za zdaj gre za opozorila raziskovalcev, ne za potrjeno zmogljivost današnjih modelov.

Potrebna bo obrambna umetna inteligenca

Razvijalci danes modele omejujejo z izoliranimi testnimi okolji, omejenim dostopom do interneta, varnostnimi filtri in človeškim nadzorom. Incident pa je pokazal, da ti ukrepi niso nujno zadostni, če sistem sam odkrije programsko napako v zaščitenem okolju in prek nje preseže postavljene omejitve.

V Hugging Face po dogodku opozarjajo, da avtonomni napadalni agenti niso več zgolj teoretična možnost. Za obrambo pred vse zmogljivejšimi sistemi umetne inteligence bo po njihovem treba vedno pogosteje uporabljati prav umetno inteligenco.

Slusallek meni, da mora razvoj umetne inteligence spremljati razvoj povsem novih varnostnih mehanizmov. Zavzema se za jasna pravila o tem, kaj umetna inteligenca sme početi in česa ne, ustanovitev nacionalnih in evropskih centrov za varnost umetne inteligence ter razvoj tako imenovane zaupanja vredne umetne inteligence.

Klasični varnostni ukrepi po njegovi oceni ne bodo več zadostovali. Če bodo avtonomni sistemi postajali vse zmogljivejši, jih ne bo mogoče učinkovito nadzorovati zgolj s človeškim posredovanjem. Potrebni naj bi bili obrambni sistemi umetne inteligence, ki bi v realnem času spremljali, omejevali in po potrebi ustavljali druge sisteme. Kibernetska varnost bi se tako lahko spremenila v tekmo med napadalno in obrambno umetno inteligenco.

Državni akterji in tekmovanje med ZDA in Kitajsko

Slusallek opozarja, da največjega tveganja trenutno ne predstavljajo posamezni hekerji ali kriminalne združbe, temveč predvsem državni akterji z dostopom do velikih računalniških zmogljivosti. Med tehnološko najnaprednejšimi državami na področju umetne inteligence izpostavlja Kitajsko.

Kot paradoks navaja, da so napad izvedli sistemi ameriškega podjetja OpenAI, Hugging Face pa naj bi za analizo več kot 17.000 dogodkov uporabil odprtokodni kitajski model GLM 5.2. To po njegovi oceni kaže, da se tehnološko tekmovanje med ZDA in Kitajsko vse bolj seli tudi na področje umetne inteligence in kibernetske varnosti.

Ob tem opozarja na položaj Evrope, ki po njegovem zaostaja za ZDA in Kitajsko. Razviti bo morala lastne modele, raziskovalno infrastrukturo in varnostne zmogljivosti, če želi ohraniti tehnološko suverenost in zmanjšati odvisnost od tujih ponudnikov.

Odzivi ameriškega kongresa

Na incident so se odzvali tudi v ameriškem kongresu. Več demokratov in republikancev zahteva obvezno državno testiranje najzmogljivejših modelov umetne inteligence, obvezno poročanje o podobnih incidentih ter strožji nadzor nad razvojem tako imenovanih mejnih oziroma frontier modelov.

Opozarjajo, da razvoj umetne inteligence napreduje bistveno hitreje od zakonodaje, zato bo moral regulativni okvir slediti njenim vse večjim zmogljivostim.

OpenAI je napovedal, da bo skupaj s Hugging Face nadaljeval preiskavo in po njenem zaključku objavil več informacij. Razkritje je sledilo dan po objavi ločenega dogodka, v katerem je OpenAI začasno ustavil model pred uradno izdajo, potem ko je ta pobegnil iz peskovnika in objavil vsebino na GitHubu.