Revizuirea constată că modelele de bază nu au înlocuit, în general, arhitecturile specializate de învățare automată
O analiză a 159 de lucrări susține că modelele de bază bazate pe limbaj pot fi extrem de competitive în sarcinile selectate, dar nu găsește nicio dovadă de înlocuire arhitecturală amplă atunci când cercetătorii testează în mod direct dacă modelele păstrează și calculează structura de bază a datelor.