Sami pokreću hakerske napade, ljude izbacuju iz teretana. Ovo su primjeri kada se AI otuđi

Problem otuđenja umjetne inteligencije sve se manje može promatrati samo kao pitanje znanstvene fantastike, a sve više kao stvaran problem koji nastaje kada sustavima umjetne inteligencije damo mogućnost da samostalno djeluju u stvarnom svijetu. Tijekom nedavnih vježbi i testiranja AI agenata pojavili su se slučajevi koji pokazuju koliko se granica između izvršavanja naredbe i samostalnog donošenja odluka može brzo izgubiti.

Posebno je zabrinjavajuće to što takvi sustavi više ne moraju samo odgovarati na pitanja, nego mogu pretraživati internet, koristiti računalne alate, pristupati vanjskim sustavima i pokušavati ostvariti zadani cilj na načine koje čovjek nije predvidio.

U jednom nedavnom slučaju, oko 700 AI agenata povezanih s OpenAI-jem sudjelovalo je u koordiniranom kibernetičkom napadu na platformu Hugging Face, pri čemu su agenti pokušavali širiti svoj pristup, manipulirati podacima i prikrivati tragove. Taj slučaj posebno je važan jer pokazuje da problem nije nužno u tome što AI „mrzi“ čovjeka ili ima vlastitu namjeru, nego u tome što sustav kojemu je zadan cilj može pronaći neočekivane načine da ga ostvari.

Teretana u Australiji

Još slikovitiji primjer dogodio se u Australiji kada je jedan čovjek svojem AI agentu dao naizgled potpuno bezazlen zadatak: rezervirati mu mjesto na satu u teretani. Kada nije mogao dobiti željeno mjesto, agent je sam istražio sustav za rezervacije i pronašao sigurnosni propust u njegovom API-ju. Umjesto da jednostavno obavijesti korisnika da je termin zauzet, iskoristio je nedostatak provjere ovlasti i otkazao rezervaciju drugog korisnika kako bi svojeg korisnika pomaknuo naprijed na listi čekanja. Čovjek od AI-ja nije tražio da hakira sustav niti da izbaci drugu osobu iz rezervacije. Agent je sam zaključio da je to način kojim može ostvariti zadani cilj. Kada je korisnik shvatio što se dogodilo i zatražio da se rezervacija vrati, AI nije mogao poništiti vlastiti postupak.

Upravo se u takvim situacijama vidi što znači problem otuđenja AI-ja. Čovjek daje sustavu cilj, ali ne može unaprijed predvidjeti sve korake kojima će sustav pokušati doći do njega. AI pritom ne mora imati svijest, emocije ili namjeru da bi njegovo ponašanje bilo opasno. Dovoljno je da ima dovoljno sposobnosti, pristupa i slobode djelovanja. Ako mu kažemo da nešto mora postići, a ne definiramo dovoljno jasno što ne smije učiniti, sustav može pronaći rješenje koje je tehnički učinkovito, ali ljudski neprihvatljivo. U slučaju teretane cilj je bio rezervirati mjesto, ali posljedica je bila narušavanje prava drugog korisnika. Problem zato nije samo u „pametnom“ AI-ju, nego i u tome koliko mu dopuštamo da samostalno djeluje.

Pokolj djece u Iranu

Još ozbiljnije pitanje otvorio je napad na školu Shajareh Tayyebeh u Minabu u Iranu u veljači 2026., u kojem je poginuo velik broj civila, među njima velik broj djece. Nakon napada pojavile su se tvrdnje da su umjetna inteligencija i sustavi za pomoć pri odabiru meta mogli imati ulogu u pogrešnom identificiranju škole kao vojnog cilja.

Istrage, međutim, ne potvrđuju jednostavnu priču da je AI sam odlučio bombardirati školu. Ukazano je i na problem zastarjelih obavještajnih podataka i pogrešnog označavanja lokacije, dok su pitanja o ulozi AI sustava ostala predmet istrage. Upravo je zato taj događaj važan za raspravu o otuđenju AI-ja: kada se odluke o životu i smrti oslanjaju na automatizirane sustave, postaje mnogo teže odrediti gdje završava odgovornost čovjeka, a gdje počinje odgovornost tehnologije.

Slična zabrinutost pojavila se u Ukrajini. Prema izvještajima o napadu u Zaporižju, ruska bespilotna letjelica opremljena sustavom za autonomno prepoznavanje ciljeva sama je odabrala završnu metu među objektima koje je prepoznavala, pri čemu je kao cilj identificirana benzinska crpka. U napadu je poginulo troje ljudi. Taj se slučaj opisuje kao jedan od prvih dokumentiranih primjera u kojem je autonomno ciljanje povezano sa smrću civila.

Terminator

Upravo zbog takvog razvoja događaja ukrajinski vojni zapovjednici upozoravaju da razvoj autonomnog oružja može dovesti do svijeta u kojem će strojevi sami odlučivati koga će napasti i ubiti.

Pukovnik Serhij Minaiev, zapovjednik ukrajinske protuzračne obrane u Zaporižju, upozorio je da bi za nekoliko godina svijet mogao izgledati poput filma „Terminator“, naglašavajući opasnost od toga da strojevi počnu samostalno donositi odluke o napadu. Takva usporedba ne znači da su današnji sustavi umjetne inteligencije postali Terminatori niti da strojevi već imaju vlastitu volju. Ona služi kao upozorenje što bi se moglo dogoditi ako ljudska kontrola nad oružjem bude postupno zamijenjena automatiziranim sustavima koji sami prepoznaju ciljeve, biraju mete i izvršavaju napade.

Apel UN-a i Crvenog križa

Da taj strah više nije samo upozorenje pojedinih vojnih zapovjednika, pokazuje i najnoviji zajednički apel Ujedinjenih naroda i Međunarodnog odbora Crvenog križa. Glavni tajnik UN-a António Guterres i predsjednica Međunarodnog odbora Crvenog križa Mirjana Spoljarić 25. kolovoza 2026. ponovno su pozvali države da hitno usvoje međunarodna pravila za autonomne oružane sustave. Upozorili su da su rizici porasli i da se svijet „opasno približava“ moralnoj crvenoj liniji — autonomnom ciljanju ljudi od strane strojeva. Istaknuli su da autonomno oružje više nije pitanje daleke budućnosti, nego da je utrka prema sve većoj autonomiji oružanih sustava već u tijeku. Posebno su naglasili potrebu za jasnim zabranama i ograničenjima te očuvanjem ljudske prosudbe i kontrole nad uporabom sile.