Η ανασκόπηση διαπιστώνει ότι τα μοντέλα θεμελίωσης δεν έχουν αντικαταστήσει γενικά τις εξειδικευμένες αρχιτεκτονικές μηχανικής μάθησης
Μια ανασκόπηση 159 εγγράφων υποστηρίζει ότι τα μοντέλα θεμελίωσης που βασίζονται στη γλώσσα μπορούν να είναι ιδιαίτερα ανταγωνιστικά σε επιλεγμένες εργασίες, αλλά δεν βρίσκει στοιχεία ευρείας αρχιτεκτονικής αντικατάστασης όταν οι ερευνητές δοκιμάζουν απευθείας εάν τα μοντέλα διατηρούν και υπολογίζουν την υποκείμενη δομή των δεδομένων.