Phát hiện các thay đổi chủ đề định kỳ gây ngạc nhiên trong các mô hình ngôn ngữ cơ sở
Một arXiv mới báo cáo rằng việc chèn một chủ thể mới mỗi vài trăm token có thể làm tăng sự ngạc nhiên và kết nối được đánh giá của đầu ra mô hình ngôn ngữ. Hiệu ứng này không tạo ra các tài liệu tích hợp hoặc cải thiện kết quả tốt nhất trong bài kiểm tra đóng gói thùng trực tuyến, phơi bày giới hạn về thời gian đánh giá các thế hệ.