Une étude révèle que les modèles de base n'ont généralement pas remplacé les architectures spécialisées d'apprentissage automatique.
Une revue de 159 articles affirme que les modèles de fondation basés sur le langage peuvent être très compétitifs dans des tâches sélectionnées, mais ne trouve aucune preuve d'un remplacement architectural à grande échelle lorsque les chercheurs testent directement si les modèles préservent et calculent la structure sous-jacente des données.