Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố thiên vị logit

Xem lại cách sai lệch logit mã thông báo thay đổi việc lấy mẫu, các giới hạn từ phụ của nó và lý do tại sao các biện pháp kiểm soát cấp mã thông báo có thể ảnh hưởng đến nhiều văn bản hơn dự định.

Đường dẫn hướng dẫn liên quanĐộ lệch logit
Câu hỏi 1 của 8

Sự thiên vị logit sửa đổi điều gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Sự thiên vị logit sửa đổi điều gì?
    • Điểm (logit) của các mã thông báo cụ thể trước khi lấy mẫu
    • Trọng lượng tập luyện của người mẫu vĩnh viễn
    • Nhiệt độ của toàn bộ lời nhắc
    • Số lượng mã thông báo trong cửa sổ ngữ cảnh
  2. Trong nhiều API, độ lệch logit -100 trên mã thông báo có tác dụng gì?
    • Làm cho mã thông báo có khả năng cao hơn 100 lần
    • Ngăn chặn việc tạo mã thông báo một cách hiệu quả
    • Xóa mã thông báo khỏi từ điển vĩnh viễn
    • Nhân đôi tốc độ của mô hình
  3. What numeric range does the documented OpenAI Chat Completions logit_bias accept for a token?
    • From 0 to 1 only
    • From -1 to 1 only
    • From -100 to 100
    • Any string value
  4. Độ lệch logit được khóa theo mã định danh nào?
    • Từ văn bản đơn giản
    • Vị trí câu
    • Tên người mẫu
    • ID mã thông báo số
  5. Bởi vì nhật ký được chuyển qua softmax, tác dụng của việc thêm độ lệch dương là gì?
    • Nó tăng theo cấp số nhân trọng lượng tương đối của mã thông báo trước khi chuẩn hóa
    • Nó cộng tuyến tính một xác suất cố định
    • Nó không có tác dụng cho đến khi đào tạo
    • Nó loại bỏ mã thông báo khỏi việc xem xét
  6. Ưu điểm chính của sai lệch logit so với tinh chỉnh là:
    • Cải thiện vĩnh viễn kiến thức của mô hình
    • Không yêu cầu đào tạo lại và áp dụng theo yêu cầu
    • Tăng kích thước cửa sổ ngữ cảnh
    • Chỉ hoạt động trên hình ảnh
  7. Why should a developer inspect the tokenizer before applying a bias to a visible word?
    • Token IDs are assigned only after sampling
    • Visible words always equal one token
    • The word may be represented by several token IDs, so biasing one ID may not cover all forms
    • The tokenizer controls the model’s training data
  8. What is a practical risk of applying a strong positive bias to one token?
    • It increases the context window
    • It changes the model weights permanently
    • It guarantees the token appears exactly once
    • It can distort generation or produce repetitive, awkward text