Bài kiểm tra nhiệt độ và lấy mẫu

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Việc tăng nhiệt độ có ảnh hưởng gì đến kết quả đầu ra của mô hình?
   • Làm cho nó mang tính quyết định và lặp đi lặp lại
   • Thay đổi vĩnh viễn trọng lượng của mô hình
   • Tắt chức năng softmax
   • Làm cho nó ngẫu nhiên và đa dạng hơn, có nhiều cơ hội nhận được các mã thông báo bất thường hơn
2. Trước khi lấy mẫu, điểm mã thông báo thô (log) của mô hình được chuyển thành xác suất bằng cách:
   • Bộ lọc top-k
   • Chức năng softmax
   • Lan truyền ngược
   • Công cụ mã thông báo
3. Điều gì quyết định nhóm ứng viên trong lấy mẫu top-p, so với top-k?
   • Top-p luôn giữ chính xác 10 token
   • Cả hai phương pháp luôn giữ mọi mã thông báo từ vựng
   • Top-p sử dụng tập dẫn đầu nhỏ nhất đạt đến ngưỡng xác suất tích lũy; top-k sử dụng số đếm
   • Top-k sử dụng ngưỡng tích lũy trong khi top-p sử dụng số lượng cố định
4. Về mặt cơ học, nhiệt độ thực sự có tác dụng gì đối với logit?
   • Chia mỗi logit cho T trước softmax
   • Thêm một số ngẫu nhiên vào mỗi logit
   • Xóa nhật ký thấp nhất
   • Nhân xác suất cuối cùng với T
5. Đối với một tác vụ dữ liệu có cấu trúc, việc chọn lựa mã thông báo dễ dự đoán hơn không xác định được điều gì?
   • Cài đặt giải mã đã được chọn
   • Nội dung được tạo là chính xác hoặc hợp lệ
   • Điểm số mã thông báo đó có thể được so sánh
   • Rằng một mô hình có thể tạo ra một đầu ra
6. Giải mã tham lam chọn mã thông báo tiếp theo như thế nào?
   • Theo nghĩa đen, nó chia mọi logit cho 0
   • Nó lấy mẫu thống nhất mọi mã thông báo từ vựng
   • Nó đào tạo lại mô hình vĩnh viễn
   • Nó chọn mã thông báo đủ điều kiện có điểm cao nhất thay vì lấy mẫu
7. Hai bản ghi mã thông báo khác nhau sáu điểm trước khi chia tỷ lệ nhiệt độ. Với nhiệt độ dương hai, sự khác biệt tỷ lệ của chúng là bao nhiêu?
   • Ba
   • mười hai
   • Sáu
   • số không
8. Đối với xác suất 0,55, 0,30, 0,10 và 0,05, top-p 0,80 giữ được bao nhiêu mã thông báo hàng đầu?
   • một
   • Ba
   • Hai
   • bốn