ATLAS: jedinstveni zakon skaliranja koji se prilagođava višejezičnim mješavinama
ATLAS je jednostavan, praktičan pristup određivanju optimalne veličine modela, količine podataka i jezičkih kombinacija za obuku. Za razliku od tradicionalnih zakona o skaliranju koji se fokusiraju na jednojezična podešavanja, ATLAS daje ove preporuke za složenija, višejezična okruženja. Posebno optimizira performanse na ciljnom jeziku (npr. katalonski) iskorištavanjem podataka s nekoliko različitih jezika. ATLAS proširuje ove tradicionalne principe zakona o skaliranju kroz tri komponente:
- Međujezična matrica prijenosa koja se koristi za određivanje koji su jezici najbolji za zajedničko učenje
- Zakon o skaliranju koji daje smjernice za efikasno skaliranje modela i veličina podataka kako se broj podržanih jezika povećava
- Pravila za odlučivanje kada prethodno trenirati model od nule u odnosu na fino podešavanje s višejezične kontrolne točke
ATLAS to postiže obučavanjem na stotinama višejezičnih eksperimenata (koristeći korpus MADLAD-400 sa više od 750 pokreta na više od 400 jezika) i uzimajući u obzir tri različita izvora podataka: 1) ciljni jezik, 2) slični jezici prenosa prema empirijskoj analizi (npr. katalonski kao što su katalonski i svi ostali latinski i španski) jezicima. Ovaj novi pristup omogućava zakonu da sazna koliko svaki izvor zapravo pomaže ili ometa ciljni jezik, što je mogućnost koju prethodni zakoni nisu podržavali.
Preuzeto sa: research.google
