Preprint finner periodiske emneendringer vekker bedømt overraskelse i basisspråkmodeller
Et nytt arXiv preprint rapporterer at å injisere et nytt emne med noen få hundre tokens kan øke språkmodellens bedømte overraskelse og forbindelse. Effekten ga ikke integrerte dokumenter eller forbedret det beste resultatet i en online søppelpakketest, og eksponerte grenser for hvor lenge generasjoner evalueres.