Обзор показывает, что базовые модели в целом не заменили специализированные архитектуры машинного обучения.
В обзоре 159 статей утверждается, что базовые модели на основе языка могут быть весьма конкурентоспособными в отдельных задачах, но не обнаружено доказательств широкой архитектурной замены, когда исследователи напрямую проверяют, сохраняют ли модели и вычисляют основную структуру данных.