cái gì là Hình phạt hiện diện?

Cài đặt giải mã giúp giảm xác suất của mã thông báo tương ứng với tần suất chúng xuất hiện cho đến nay.

Cài đặt giải mã làm giảm xác suất của mã thông báo mà mô hình đã tạo để giảm vòng lặp.

Chiến lược giải mã chỉ lấy mẫu từ k mã thông báo tiếp theo có khả năng xảy ra nhất.

Chiến lược tạo giới hạn mã thông báo đầu ra ở các cấu trúc hợp lệ hoặc các lựa chọn tuân thủ chính sách.

Một phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.

Các tensor khóa và giá trị được lưu trữ từ các mã thông báo trước đó cho phép bộ chuyển đổi tạo mã thông báo mới mà không cần tính toán lại sự chú ý trong quá khứ.