В препринте обнаружено, что периодические изменения предметов вызывают удивление в моделях базового языка
В новом препринте arXiv сообщается, что введение нового предмета каждые несколько сотен токенов может повысить ожидаемую неожиданность и связь результатов языковой модели. Этот эффект не привел к созданию интегрированных документов и не улучшил лучший результат в онлайн-тесте по упаковке мусора, что обнажило ограничения на продолжительность оценки поколений.
Читать историю Проверенный источник: arxiv.org
