A tanulmány szerint az apró léptékű vektorok lényegesen befolyásolhatják a nagy nyelvi modellképzést
Egy felülvizsgált arXiv tanulmány azt állítja, hogy az LLM normalizációs rétegeken belüli kis tanulható vektorok nagyobb hatással vannak a képzésre, mint azt a paraméterszámuk sugallja. A szerzők kisebb edzési veszteségről számolnak be több könnyű súlyváltoztatás miatt a sűrű és a szakértők vegyes modelljei között, de az absztrakt nem nyújt…