Thuật ngữ thuật ngữ AI

Hình phạt hiện diện là gì?

Định nghĩa

Cài đặt giải mã làm giảm khả năng xuất hiện mã thông báo, khuyến khích các chủ đề mới.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Hình phạt tần sốCài đặt giải mã giúp giảm xác suất của mã thông báo tương ứng với tần suất chúng xuất hiện cho đến nay.Hình phạt lặp lạiCài đặt giải mã làm giảm xác suất của mã thông báo mà mô hình đã tạo để giảm vòng lặp.Lấy mẫu Top-kChiến lược giải mã chỉ lấy mẫu từ k mã thông báo tiếp theo có khả năng xảy ra nhất.Giải mã được bảo vệChiến lược tạo giới hạn mã thông báo đầu ra ở các cấu trúc hợp lệ hoặc các lựa chọn tuân thủ chính sách.Giải mã suy đoánMột phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.Bộ đệm KVCác tensor khóa và giá trị được lưu trữ từ các mã thông báo trước đó cho phép bộ chuyển đổi tạo mã thông báo mới mà không cần tính toán lại sự chú ý trong quá khứ.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Repetition Penalty and Decoding Controls

Xem thêm

Beam SearchParent-Document RetrievalMulti-Query RetrievalRAG-FusionSelf-PlayPost-trainingMid-trainingWatermarking