Az áttekintés szerint az alapmodellek általában nem váltották fel a speciális gépi tanulási architektúrákat
Egy 159 tanulmány áttekintése azt állítja, hogy a nyelvi alapú alapmodellek rendkívül versenyképesek lehetnek a kiválasztott feladatokban, de nem talál bizonyítékot a széles körű architektúra helyettesítésére, amikor a kutatók közvetlenül tesztelik, hogy a modellek megőrzik-e és kiszámítják-e az adatok mögöttes szerkezetét.