Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra dự đoán mã thông báo tiếp theo

Xem xét việc đào tạo mô hình ngôn ngữ tự hồi quy, bối cảnh nhân quả, sự ép buộc của giáo viên và sự khác biệt giữa đào tạo và tạo ra.

Đường dẫn hướng dẫn liên quanDự đoán mã thông báo tiếp theo
Câu hỏi 1 của 8

Mô hình dự đoán mã thông báo tiếp theo đưa ra kết quả gì ở mỗi bước?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Mô hình dự đoán mã thông báo tiếp theo đưa ra kết quả gì ở mỗi bước?
    • Phân phối xác suất theo từ vựng cho mã thông báo tiếp theo
    • Một từ cố định duy nhất
    • Bản dịch của câu
    • Điểm ngữ pháp
  2. Bộ giải mã kiểu GPT sử dụng loại chú ý nào?
    • Sự chú ý hai chiều
    • Sự chú ý nhân quả (che giấu) che giấu các mã thông báo trong tương lai
    • Không có sự chú ý nào cả
    • Sự chú ý ngẫu nhiên
  3. Thế hệ 'tự thoái lui' ở đây có ý nghĩa gì?
    • Mô hình tạo tất cả các mã thông báo cùng một lúc
    • Mô hình hồi quy về giá trị trung bình
    • Mỗi mã thông báo mới được thêm vào và đưa trở lại để dự đoán mã tiếp theo
    • Token được tạo theo thứ tự ngẫu nhiên
  4. Chức năng mất mát nào thường được giảm thiểu trong quá trình đào tạo?
    • Sai số bình phương trung bình
    • Mất bản lề
    • Khoảng cách cosine
    • Entropy chéo trên mã thông báo tiếp theo
  5. Việc tăng nhiệt độ trong quá trình lấy mẫu có tác dụng gì?
    • Làm cho đầu ra ngẫu nhiên và sáng tạo hơn
    • Làm cho đầu ra được xác định chặt chẽ
    • Tăng kích thước từ vựng
    • Loại bỏ lớp softmax
  6. Trước khi dự đoán, văn bản thô thường được chuẩn bị như thế nào?
    • Nó được dịch sang tiếng Anh
    • Nó được chia thành các token bằng tokenizer
    • Nó được chuyển đổi thành âm thanh
    • Nó được để lại dưới dạng ký tự thô không được xử lý
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix