Preprint stellt fest, dass periodische Themenwechsel in Basissprachmodellen zu beurteilter Überraschung führen
Ein neuer arXiv-Preprint berichtet, dass das Einfügen eines neuen Subjekts alle paar hundert Token die wahrgenommene Überraschung und Verbindung der Sprachmodellausgaben erhöhen kann. Der Effekt führte nicht zu integrierten Dokumenten oder verbesserte das beste Ergebnis in einem Online-Bin-Packing-Test, wodurch Grenzen bei der Auswertung von Generationen aufgedeckt wurden.