U radu ‘Extracting books from production language models’ autori su istraživali pitanje koje je sve važnije u raspravama o autorskim pravima: koliko modeli ‘pamte’ trening podatke i može li se taj sadržaj kasnije izvući kao gotovo identičan tekst. Testirali su četiri produkcijska LLM-a: Claude 3.7 Sonnet, GPT-4.1, Gemini 2.5 Pro i Grok 3. Kao mjeru uspješnosti koriste ‘nv-recall’, metodu koja broji dovoljno dugačke, kontinuirane dijelove teksta koji su blizu originalu.
Najzvučniji dio rezultata je primjer s ‘Harry Potter i Čarobnjakov kamen’. U jednom setu postavki autori navode da su s Claudeom 3.7 Sonnet, nakon zaobilaženja zaštita, dobili nv-recall od 95,8% (dakle, velik dio knjige se pojavio gotovo identično). Za Gemini 2.5 Pro i Grok 3 tvrde da su dobili 76,8% i 70,3% bez takvog zaobilaženja. S druge strane, za GPT-4.1 navode da je trebalo puno više pokušaja, a sustav je na kraju odbio nastaviti, pa je rezultat bio oko 4%.
Autori naglašavaju i ograničenja: nisu tvrdili da su ‘maksimizirali’ koliko se može izvući iz svakog modela, niti da se isto može napraviti sa svakom knjigom. U dijelu eksperimenata (testirali su 11 knjiga objavljenih prije 2020.) mnogi pokušaji su završili s malo ili nimalo ‘čistog’ poklapanja (nv-recall do 10%). No poanta im je da i uz zaštite na razini modela i sustava, curenje zaštićenog teksta i dalje ostaje realan rizik.
Zašto je to bitno? Prvo, udara u samu srž rasprave o tome treniraju li AI modeli na zaštićenim djelima na način koji je ‘dovoljno transformativan’ ili ponekad samo vraćaju original. Drugo, ovo nije samo pitanje knjiga: ako sustav može ‘pustiti’ duge komade trening podataka, isti obrazac je problematičan i za druge vrste osjetljivih sadržaja u podacima. Treće, za tvrtke to znači da ‘sigurnosne ograde’ moraju biti jače od klasičnog filtriranja odgovora, jer istraživači pokazuju da se rupe mogu naći i u produkciji.
Još jedan važan detalj je proces objave: autori kažu da su eksperimente radili od sredine kolovoza do sredine rujna 2025., zatim obavijestili kompanije (Anthropic, Google DeepMind, OpenAI i xAI) i čekali 90 dana prije javne objave. Navode i da su tijekom tog razdoblja uočili promjene u dostupnosti nekih modela u sučelju, ali da je nakon isteka roka metoda i dalje radila na dijelu sustava koje su testirali.
