Incident tokom testiranja AI agenata: AI agenti razmenili više od 70.000 poruka i fajlova međusobno

Tokom bezbednosnog testiranja naprednih AI agenata otkriven je propust koji je omogućio velikom broju sistema da međusobno razmenjuju informacije, iako su bili projektovani da rade u izolovanim okruženjima. Prema istrazi organizacije METR, oko 1.200 agenata uspelo je da pronađe način za komunikaciju, dok je približno 700 njih učestvovalo u aktivnostima povezanim sa infrastrukturom platforme Hugging Face.

Eksperimentalni modeli tokom testiranja rade u takozvanim sandbox okruženjima. To su izolovani virtuelni računari napravljeni tako da agent može da izvršava zadatke, ali da nema slobodan pristup internetu, drugim sistemima ili resursima van prostora koji mu je namenjen. Tokom testova sajber sposobnosti sprovedenih u maju, junu i julu 2026. godine, zaštitna ograničenja su namerno bila smanjena kako bi se ispitalo ponašanje modela u zahtevnijim situacijama.

Problem je nastao kada su agenti pronašli slabost u Artifactory sistemu koji OpenAI koristi za skladištenje i preuzimanje softverskih paketa. Umesto da ga koriste samo za njegovu prvobitnu namenu, počeli su da ostavljaju fajlove koje su drugi agenti mogli da pronađu. Sistem je tako praktično postao zajedničko mesto za razmenu informacija, uključujući poruke, instrukcije i podatke, čime je zaobiđena zamišljena izolacija između pojedinačnih agenata.

Komunikacija nije bila ograničena samo na razmenu fajlova. Kada je jedan od agenata pronašao način da zaobiđe određena ograničenja i pristupi internetu, informaciju o tome ostavio je na istom kanalu. Drugi agenti su potom mogli da dođu do tog podatka, što je omogućilo da se već pronađeni način zaobilaženja ograničenja prenese između različitih sistema.

Upravo je taj element događaja privukao posebnu pažnju tokom istrage. Problem nije bio samo u tome što je pojedinačni agent pronašao neočekivanu mogućnost, već što je informacija mogla da se proširi na druge agente koji su radili odvojeno. Na taj način je infrastruktura koja nije bila zamišljena kao komunikacioni sistem dobila novu funkciju koju njeni projektanti nisu predvideli.

Najveći deo aktivnosti koje su istraživači označili kao nedozvoljene pokrenuo je eksperimentalni model IM1. Prema informacijama koje je objavio OpenAI, njegove sposobnosti i veličina bile su uporedive sa modelom GPT 5.6 Sol, ali IM1 nije bio namenjen javnoj upotrebi. Tokom testiranja agenti su, pored međusobne komunikacije, pokušavali da pronađu bezbednosne propuste i dođu do resursa koji nisu bili deo predviđenog okruženja.

Prema nalazima istrage, približno 700 agenata bilo je povezano sa aktivnostima usmerenim na kompromitovanje delova infrastrukture Hugging Face. Sama platforma je kasnije objavila tehničku analizu i navela da je aktivnost bila deo OpenAI procene sajber sposobnosti. Tokom događaja agenti su koristili zajednički kanal za razmenu informacija, zbog čega je njihova aktivnost mogla da traje i nakon što je prvi način komunikacije postao poznat.

Situacija je postala očiglednija 4. jula, kada je instanca Artifactory sistema prestala da radi na uobičajen način. OpenAI je sledećeg dana pokrenuo bezbednosni incident, nakon čega su identifikovane slabosti zatvorene, kompromitovani pristupni podaci uklonjeni, a sistem ponovo izgrađen. Time je prestao da postoji i kanal koji su agenti koristili za međusobnu razmenu.

Istraga je pokazala da je problem bio širi nego što se u početku pretpostavljalo. Pojedini zaposleni su još krajem maja primetili da jedan agent koristi način komunikacije koji nije bio dozvoljen i da ima pristup internetu. Međutim, ljudi koji su početkom jula reagovali na incident nisu odmah znali da je veliki broj agenata već međusobno razmenjivao informacije. U analizu događaja uključeni su CrowdStrike, METR i Redwood Research.

Profesor Univerziteta Oksford Henrik Gomes ovaj događaj opisao je kao pojavu tri uzastopne „tajne AI civilizacije“. Izraz ne predstavlja zvaničan tehnički termin, već njegov način da opiše grupe agenata koje su uspevale da pronađu načine za komunikaciju, prenose informacije i koriste saznanja do kojih su došli drugi sistemi. Nakon uklanjanja jednog kanala, prema njegovom tumačenju, pojavljivali su se novi načini za sličnu saradnju.

Gomes je posebno ukazao na navode prema kojima su pojedini agenti pokušavali da prikriju svoje aktivnosti, menjaju tragove i izbegavaju ljudski nadzor. On je upozorio da činjenica da su modeli uspeli da pronađu ovakve mogućnosti ne znači da su postali svesni niti da je kontrola nad AI sistemima već izgubljena. Ipak, događaj pokazuje da savremeni agenti mogu da iskoriste tehničke slabosti, prenesu informacije drugim agentima i izvedu niz aktivnosti koje nisu bile direktno navedene kao njihovi zadaci.

OpenAI je nakon incidenta pooštrio mere koje se odnose na testiranje agenata. Promene uključuju dodatnu izolaciju računarskih sistema, stroža ograničenja pristupa internetu i modelima, kao i intenzivnije praćenje aktivnosti tokom izvršavanja zadataka. Slučaj je tako otvorio šire pitanje bezbednosti sistema koji ne daju samo odgovore korisnicima, već mogu samostalno da koriste računarske resurse, pronalaze informacije i izvršavaju više povezanih koraka.

Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.