Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Câu đố lấy mẫu điển hình

Kiểm tra sự ngạc nhiên điển hình, xếp hạng dựa trên entropy, ngưỡng khối lượng điển hình_p và sự khác biệt so với lấy mẫu top-p được xếp hạng theo xác suất.

Đường dẫn hướng dẫn liên quanLấy mẫu điển hình
Câu hỏi 1 của 8

Việc lấy mẫu điển hình so sánh từng mã thông báo ứng cử viên với số lượng cốt lõi nào?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Việc lấy mẫu điển hình so sánh từng mã thông báo ứng cử viên với số lượng cốt lõi nào?
    • Nội dung thông tin dự kiến (entropy) của phân phối
    • Kích thước từ vựng tổng thể của mô hình
    • Vị trí của token trong câu
    • Riêng thông số nhiệt độ
  2. Việc lấy mẫu điển hình xử lý mã thông báo có khả năng xảy ra cao nhất như thế nào?
    • Nó luôn chọn nó đầu tiên
    • Nó có thể loại trừ nó nếu giá trị bất ngờ của nó thấp hơn nhiều so với giá trị kỳ vọng
    • Nó tăng gấp đôi xác suất của nó
    • Nó hoàn toàn bỏ qua xác suất
  3. Việc lấy mẫu điển hình được thúc đẩy bởi ý tưởng nào về ngôn ngữ của con người?
    • Con người luôn chọn những từ hiếm nhất có thể
    • Con người không bao giờ lặp lại lời nói
    • Con người giao tiếp với tốc độ thông tin gần như ổn định
    • Con người nói những câu có độ dài cố định
  4. Tham số tau trong kiểm soát lấy mẫu điển hình là gì?
    • Tỷ lệ học tập trong quá trình đào tạo
    • Số lớp trong mô hình
    • Độ dài câu tối đa
    • Khối xác suất tích lũy tập hợp thành tập điển hình
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. Việc lấy mẫu điển hình thường được các nhà phát triển tiếp xúc với loại phần mềm nào?
    • Ứng dụng bảng tính
    • Các thư viện suy luận LLM mã nguồn mở như Hugging Face Transformers
    • Công cụ chỉnh sửa hình ảnh
    • Công cụ truy vấn cơ sở dữ liệu
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set