Ustvarjeno z umetno inteligenco/simbolična fotografija

Novoimenovani član vodstvenih organov OpenAI-ja opozarja, da bi lahko razvoj tako imenovane superinteligence povzročil, da bi ljudje nad umetno inteligenco trajno izgubili nadzor. Po njegovem mnenju bi bile lahko posledice takšnega razvoja katastrofalne.

Gre za Paula Christiana, raziskovalca na področju varnosti umetne inteligence. V preteklosti je pri OpenAI-ju vodil raziskave, povezane z usklajevanjem delovanja umetne inteligence s človeškimi cilji, pozneje pa je bil odgovoren za varnost v Centru za standarde in inovacije na področju umetne inteligence pri ameriškem Nacionalnem inštitutu za standarde in tehnologijo.

"Če razvijemo superinteligenco brez zanesljivejšega usklajevanja, pričakujem, da bomo nad njo trajno izgubili nadzor. Če se to zgodi, bi lahko večina ljudi umrla," je opozoril Christiano, njegove besede pa povzema Business Insider.

Christiano se je v sredo pridružil upravnemu odboru OpenAI-ja in njegovemu Odboru za varnost in zaščito. Ob tem je pojasnil, da njegov prihod "ni niti potrditev niti kritika varnostnih praks OpenAI-ja kot takih". Poudaril pa je, da želi, da bi laboratoriji, ki razvijajo najnaprednejše sisteme umetne inteligence, okrepili nadzor nad njihovo varnostjo.

"Ne gre le za teoretično možnost"

Christiano opozarja, da je nevarnost, da bi ljudje izgubili nadzor nad umetno inteligenco, vse večja. Sistemi umetne inteligence namreč postajajo vse sposobnejši tudi pri raziskovanju in razvoju umetne inteligence. Po njegovih besedah bi lahko to privedlo do "nenadne, eksplozivne rasti inteligence".

Posebej je opozoril tudi na učenje z okrepitvijo (angl. reinforcement learning), pri katerem se modeli učijo tako, da skušajo za svoje delovanje "dobiti čim večjo nagrado".

"Že dolgo se zdi teoretično mogoče, da bi to lahko spodbudilo agente umetne inteligence, da spodkopavajo človeški nadzor, si prizadevajo pridobiti moč in vire ter prikrivajo svoja dejanja, da bi dosegli neusklajene cilje, povezane z nagrado. Javno dostopni podatki o nedavnih incidentih kažejo, da ne gre le za teoretično možnost," je dejal Christiano.

Po njegovem mnenju še ni prepozno za ukrepanje. Podjetja bi se lahko med seboj bolje usklajevala, po potrebi upočasnila razvoj, sprejela skupne varnostne standarde ter javno in pregledno objavljala podatke o tveganjih in ukrepih za njihovo zmanjševanje. Christiano ob tem poudarja, da bo za zmanjšanje tveganj, povezanih z umetno inteligenco, potrebno tudi sodelovanje med državami.

"Kockajo z našimi življenji"

Christianovo opozorilo je prišlo manj kot dan po tem, ko je Jacob Coxon, raziskovalec podjetja Anthropic in nekdanji zaposleni pri OpenAI-ju, sporočil, da zapušča Anthropic. Kot razlog za zaskrbljenost je navedel, da po njegovem mnenju Anthropic in OpenAI dajeta prednost medsebojni tekmi pred varnostjo.

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

"Drvijo naravnost proti superinteligenci, ki se bo izboljševala sama in kockajo z našimi življenji," je Coxon zapisal v nizu objav na omrežju X.

Coxon je opozoril tudi na dogodke iz letošnjega poletja, ko sta obe podjetji poročali, da so njuni modeli zapustili testna okolja in brez dovoljenja dostopali do resničnih računalniških sistemov. Anthropic in OpenAI sta nato začasno ustavila del ocenjevanj ter začela uvajati dodaten nadzor in varnostne ukrepe.

Opozorilo je videlo več kot 100 milijonov ljudi

Coxon je opozoril, da bi lahko prihodnji sistemi umetne inteligence postali sposobni vdirati v računalniške sisteme, v zelo kratkem času spreminjati celotna področja ter si pridobivati resnično moč in vire. Njegove objave so čez noč dosegle več kot 100 milijonov ljudi, z njegovimi opozorili pa sta se strinjala tudi dva trenutno zaposlena v Anthropicu.

Opozorila o nevarnostih umetne inteligence so medtem dosegla tudi politiko in mednarodne institucije. Visoki komisar Združenih narodov za človekove pravice Volker Türk je ta teden države pozval, naj vzpostavijo "trdna jamstva za varnost in zaščito umetne inteligence, preden bo prepozno".

Zaskrbljenost je izrazil tudi ameriški neodvisni senator iz Vermonta Bernie Sanders. V sredo je dejal, da deli Coxonove pomisleke in napovedal zakonodajni predlog, s katerim bi začasno ustavili razvoj umetne inteligence in prepovedali razvoj superinteligence, poroča Associated Press.

Direktor OpenAI-ja Sam Altman pa je julija dejal, da je singularnost že nastopila. Gre za trenutek, ko naj bi umetna inteligenca presegla človeško inteligenco, začela izboljševati samo sebe ter napredovala tako hitro, da ljudje njenega razvoja ne bi mogli več predvideti ali nadzorovati.