แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเก็บตัวอย่างนิวเคลียสและ Top-k

ทำความเข้าใจว่า top-k, top-p และอุณหภูมิเปลี่ยนแปลงการสุ่มตัวอย่างโทเค็นได้อย่างไร และเหตุใดตัวเลือกการถอดรหัสจึงเปลี่ยนพฤติกรรมของข้อความที่สร้างขึ้น

เส้นทางแนะนำที่เกี่ยวข้องการสุ่มตัวอย่างนิวเคลียสและท็อปเค
คำถาม 1 ของ 8

การสุ่มตัวอย่าง top-k จำกัดตัวเลือกโทเค็นอย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การสุ่มตัวอย่าง top-k จำกัดตัวเลือกโทเค็นอย่างไร
    • โดยจะเก็บเฉพาะโทเค็นความน่าจะเป็นสูงสุด k เท่านั้น จากนั้นจึงสุ่มตัวอย่างจากโทเค็นเหล่านั้น
    • จะเก็บโทเค็นไว้จนกว่าความน่าจะเป็นสะสมจะเกิน k
    • มันจะเลือกโทเค็นที่มีแนวโน้มมากที่สุดเพียงรายการเดียวเสมอ
    • มันจะลบโทเค็นที่มีโอกาสน้อยที่สุด k เท่านั้น
  2. อะไรเป็นตัวกำหนด 'นิวเคลียส' ในการสุ่มตัวอย่างนิวเคลียส (top-p)
    • k คำที่พบบ่อยที่สุดในข้อมูลการฝึกอบรม
    • ชุดโทเค็นที่เล็กที่สุดซึ่งความน่าจะเป็นจะรวมกันเป็นอย่างน้อย p
    • โทเค็นที่มีความน่าจะเป็นสูงสุดเพียงรายการเดียว
    • โทเค็นทั้งหมดที่มีความน่าจะเป็นมากกว่า 50%
  3. ข้อได้เปรียบที่สำคัญของ top-p มากกว่า top-k คืออะไร?
    • การคำนวณจะเร็วกว่าเสมอ
    • มันไม่เคยสร้างผลลัพธ์แบบสุ่ม
    • จำนวนโทเค็นของผู้สมัครจะปรับตามความเชื่อมั่นของโมเดล
    • โดยจะละเว้นความน่าจะเป็นของโทเค็น
  4. พารามิเตอร์อุณหภูมิทำอะไรก่อนสุ่มตัวอย่าง?
    • มันกำหนดความยาวลำดับสูงสุด
    • มันเลือกภาษาของผลลัพธ์
    • มันนับขนาดคำศัพท์
    • โดยจะปรับขนาดการกระจายความน่าจะเป็นให้คมชัดขึ้นหรือแบนลง
  5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
    • It improved diversity without sacrificing fluency and coherence in the reported comparisons
    • It guaranteed factual correctness in every output
    • It eliminated all sampling randomness
    • It improved translation quality on every benchmark
  6. For a greedy decoding baseline with no token sampling, how should generation be configured?
    • Disable sampling and use greedy decoding to select the highest-probability token at each step
    • Use high temperature and a large nucleus threshold
    • Randomize the temperature at every step
    • Keep sampling enabled but increase top-p
  7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
    • They remain assigned their original total mass below one
    • They are replaced with equal probabilities
    • They are renormalized over the retained top-k tokens
    • They are converted into beam-search scores
  8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
    • It always yields the most diverse human-like passages
    • ช่วยลดความจำเป็นในการใช้โมเดลภาษา
    • It guarantees factual correctness
    • It can produce bland and repetitive text despite strong likelihood scores