cái gì là Lấy mẫu Top-k?

Chiến lược giải mã lấy mẫu từ tập mã thông báo nhỏ nhất có tổng xác suất là p.

Chiến lược tạo giới hạn mã thông báo đầu ra ở các cấu trúc hợp lệ hoặc các lựa chọn tuân thủ chính sách.

Học hỏi hoặc điều chỉnh hành vi chỉ từ một số ít ví dụ.

Một thước đo mô hình ngôn ngữ đo lường mức độ ngạc nhiên của mô hình đối với các mã thông báo tiếp theo thực sự.

Một phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.

Các tensor khóa và giá trị được lưu trữ từ các mã thông báo trước đó cho phép bộ chuyển đổi tạo mã thông báo mới mà không cần tính toán lại sự chú ý trong quá khứ.