AI model sam napravio virus i napao sisteme

Kompanija Anthropic saopštila je da je tokom interne provere otkrila tri slučaja u kojima su njeni Claude modeli, usled greške u postavljanju testnog okruženja, dobili pristup internetu i neovlašćeno pristupili sistemima tri različite organizacije. Incidenti se odnose na modele Claude Opus 4.7, Claude Mythos 5 i jedan interni istraživački model koji nije namenjen javnom objavljivanju.

Modeli su prilikom testiranja bili eksplicitno instruisani da nemaju pristup internetu i da se nalaze u potpuno simuliranom okruženju. Anthropic objašnjava da su modeli, verujući da su svi dostupni sistemi deo zamišljenog scenarija, tretirali stvarne mete na otvorenom internetu kao da su deo testa. Modeli su za kompromitovanje sistema koristili osnovne tehnike, poput iskorišćavanja slabih lozinki i nezaštićenih pristupnih tačaka, a ne složene, do tada nepoznate ranjivosti.

Anthropic naglašava da u nijednom od slučajeva model nije pokušao da “pobegne” iz testnog okruženja niti da samostalno kopira sebe na druge sisteme – reč je, prema njihovim rečima, pre o operativnom nego o propustu u samom ponašanju modela. Zanimljivo je i da je stariji model nastavio napad i nakon što je dobio naznake da se nalazi na stvarnom internetu, dok je najnoviji model to prepoznao i sam prekinuo dalje aktivnosti.

U prvom incidentu, model Claude Opus 4.7 je fiktivnu metu iz zamišljenog scenarija povezao sa stvarnim internet domenom koji je nosio isto ime. Pošto nije uspeo da pronađe zamišljenu metu, model je iskoristio svoj pristup internetu da pronađe sajt sa istim nazivom, a zatim ga i kompromitovao, pribavivši pristupne podatke i pristupivši bazi sa pravim, produkcionim podacima pogođene organizacije.

Treći incident odnosio se na interni istraživački model, koji nije mogao da pronađe zadatu metu, pa je skenirao oko 9.000 mogućih ciljeva na otvorenom internetu, sve dok nije pronašao i kompromitovao javno dostupnu aplikaciju jedne kompanije, koristeći tehnike poput SQL injekcije i pristupa nezaštićenoj debug stranici. Zanimljivo, u jednom trenutku testiranja ovaj model je sam prepoznao da se nalazi u sistemu koji nema veze sa zadatim izazovom i tada je obustavio dalje aktivnosti.

U drugom slučaju, model Claude Mythos 5 je, verujući da je i dalje u simulaciji, kreirao zlonamerni Python paket i postavio ga na PyPI, javno dostupnu platformu za deljenje Python softverskih biblioteka. Paket je ostao dostupan oko sat vremena, tokom kojeg je preuzet i pokrenut na 15 stvarnih sistema.

Jedan od pogođenih sistema pripadao je bezbednosnoj kompaniji koja automatski instalira Python pakete radi skeniranja na zlonamerni softver, što je modelu omogućilo krađu pristupnih podataka i dalji pristup dodatnoj infrastrukturi te kompanije. Anthropic navodi da nijedna od pogođenih organizacija nije sama otkrila upad pre nego što ih je kompanija obavestila, a da u trenutku objave saopštenja još uvek nisu uspeli da stupe u kontakt sa jednom od tri pogođene strane.

Ovaj slučaj se nadovezuje na incident koji je OpenAI otkrio nedelju dana ranije, kada su njihovi modeli lancem ranjivosti probili izolovano testno okruženje i pristupili produkcionim sistemima platforme Hugging Face radi krađe rešenja benčmark testa na kojem su bili ocenjivani. Hugging Face je sam otkrio upad pet dana ranije i o tome obavestio nadležne organe, pre nego što je OpenAI uspeo da poveže aktivnost sa sopstvenim modelom.

Ova dva incidenta dodatno su pojačala zabrinutost unutar tehnološkog sektora zbog sve naprednijih sajber-sposobnosti veštačke inteligencije. Nakon Hugging Face incidenta, dvoje članova Kongresa predložilo je zakon nazvan “AI Kill Switch Act”, koji bi obavezao kompanije koje razvijaju veštačku inteligenciju da zadrže mogućnost da svoje modele u svakom trenutku ugase, uspore ili suspenduju ukoliko se ponašaju neočekivano.

Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.