แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเก็บตัวอย่างนิวเคลียสและ Top-k
ทำความเข้าใจว่า top-k, top-p และอุณหภูมิเปลี่ยนแปลงการสุ่มตัวอย่างโทเค็นได้อย่างไร และเหตุใดตัวเลือกการถอดรหัสจึงเปลี่ยนพฤติกรรมของข้อความที่สร้างขึ้น
คำถาม 1 ของ 8
การสุ่มตัวอย่าง top-k จำกัดตัวเลือกโทเค็นอย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การสุ่มตัวอย่าง top-k จำกัดตัวเลือกโทเค็นอย่างไร
- โดยจะเก็บเฉพาะโทเค็นความน่าจะเป็นสูงสุด k เท่านั้น จากนั้นจึงสุ่มตัวอย่างจากโทเค็นเหล่านั้น
- จะเก็บโทเค็นไว้จนกว่าความน่าจะเป็นสะสมจะเกิน k
- มันจะเลือกโทเค็นที่มีแนวโน้มมากที่สุดเพียงรายการเดียวเสมอ
- มันจะลบโทเค็นที่มีโอกาสน้อยที่สุด k เท่านั้น
- อะไรเป็นตัวกำหนด 'นิวเคลียส' ในการสุ่มตัวอย่างนิวเคลียส (top-p)
- k คำที่พบบ่อยที่สุดในข้อมูลการฝึกอบรม
- ชุดโทเค็นที่เล็กที่สุดซึ่งความน่าจะเป็นจะรวมกันเป็นอย่างน้อย p
- โทเค็นที่มีความน่าจะเป็นสูงสุดเพียงรายการเดียว
- โทเค็นทั้งหมดที่มีความน่าจะเป็นมากกว่า 50%
- ข้อได้เปรียบที่สำคัญของ top-p มากกว่า top-k คืออะไร?
- การคำนวณจะเร็วกว่าเสมอ
- มันไม่เคยสร้างผลลัพธ์แบบสุ่ม
- จำนวนโทเค็นของผู้สมัครจะปรับตามความเชื่อมั่นของโมเดล
- โดยจะละเว้นความน่าจะเป็นของโทเค็น
- พารามิเตอร์อุณหภูมิทำอะไรก่อนสุ่มตัวอย่าง?
- มันกำหนดความยาวลำดับสูงสุด
- มันเลือกภาษาของผลลัพธ์
- มันนับขนาดคำศัพท์
- โดยจะปรับขนาดการกระจายความน่าจะเป็นให้คมชัดขึ้นหรือแบนลง
- What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
- It improved diversity without sacrificing fluency and coherence in the reported comparisons
- It guaranteed factual correctness in every output
- It eliminated all sampling randomness
- It improved translation quality on every benchmark
- For a greedy decoding baseline with no token sampling, how should generation be configured?
- Disable sampling and use greedy decoding to select the highest-probability token at each step
- Use high temperature and a large nucleus threshold
- Randomize the temperature at every step
- Keep sampling enabled but increase top-p
- After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
- They remain assigned their original total mass below one
- They are replaced with equal probabilities
- They are renormalized over the retained top-k tokens
- They are converted into beam-search scores
- What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
- It always yields the most diverse human-like passages
- ช่วยลดความจำเป็นในการใช้โมเดลภาษา
- It guarantees factual correctness
- It can produce bland and repetitive text despite strong likelihood scores