পর্যালোচনায় দেখা গেছে যে ফাউন্ডেশন মডেলগুলি সাধারণত বিশেষ মেশিন-লার্নিং আর্কিটেকচারগুলিকে প্রতিস্থাপন করেনি
159 টি গবেষণাপত্রের একটি পর্যালোচনা যুক্তি দেয় যে ভাষা-ভিত্তিক ভিত্তি মডেলগুলি নির্বাচিত কাজগুলিতে অত্যন্ত প্রতিযোগিতামূলক হতে পারে, কিন্তু গবেষকরা সরাসরি পরীক্ষা করে যে মডেলগুলি ডেটার অন্তর্নিহিত কাঠামো সংরক্ষণ এবং গণনা করে কিনা তা বিস্তৃত স্থাপত্য প্রতিস্থাপনের কোনও প্রমাণ খুঁজে পায় না।