Preprint descobre que mudanças periódicas de assunto levantam surpresa nos modelos de linguagem base
Uma nova pré-impressão do arXiv relata que injetar um novo assunto a cada algumas centenas de tokens pode aumentar a surpresa e a conexão julgadas dos resultados do modelo de linguagem. O efeito não produziu documentos integrados nem melhorou o melhor resultado em um teste on-line de bin-packing, expondo limites no tempo de avaliação das gerações.