A revisão constata que os modelos básicos geralmente não substituíram as arquiteturas especializadas de aprendizado de máquina
Uma revisão de 159 artigos argumenta que os modelos básicos baseados em linguagem podem ser altamente competitivos em tarefas selecionadas, mas não encontra nenhuma evidência de ampla substituição arquitetônica quando os pesquisadores testam diretamente se os modelos preservam e computam a estrutura subjacente dos dados.