แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการสุ่มตัวอย่างทั่วไป

ตรวจสอบความประหลาดใจทั่วไป การจัดอันดับตามเอนโทรปี เกณฑ์มวล generic_p และความแตกต่างจากการสุ่มตัวอย่าง top-p ที่จัดอันดับความน่าจะเป็น

เส้นทางแนะนำที่เกี่ยวข้องการสุ่มตัวอย่างทั่วไป
คำถาม 1 ของ 8

การสุ่มตัวอย่างโดยทั่วไปมีปริมาณหลักเท่าใดในการเปรียบเทียบโทเค็นผู้สมัครแต่ละรายการกับ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การสุ่มตัวอย่างโดยทั่วไปมีปริมาณหลักเท่าใดในการเปรียบเทียบโทเค็นผู้สมัครแต่ละรายการกับ
    • เนื้อหาข้อมูลที่คาดหวัง (เอนโทรปี) ของการกระจาย
    • ขนาดคำศัพท์โดยรวมของแบบจำลอง
    • ตำแหน่งของโทเค็นในประโยค
    • พารามิเตอร์อุณหภูมิเพียงอย่างเดียว
  2. การสุ่มตัวอย่างโดยทั่วไปจะปฏิบัติต่อโทเค็นที่น่าจะเป็นไปได้มากที่สุดเพียงตัวเดียวอย่างไร
    • มันจะเลือกก่อนเสมอ
    • อาจยกเว้นได้หากความประหลาดใจนั้นต่ำกว่ามูลค่าที่คาดไว้มาก
    • มันเพิ่มความน่าจะเป็นเป็นสองเท่า
    • มันละเลยความน่าจะเป็นโดยสิ้นเชิง
  3. การสุ่มตัวอย่างโดยทั่วไปได้รับแรงบันดาลใจจากแนวคิดใดเกี่ยวกับภาษามนุษย์
    • มนุษย์มักจะเลือกคำที่หายากที่สุดที่เป็นไปได้
    • มนุษย์ไม่เคยพูดซ้ำคำ
    • มนุษย์สื่อสารข้อมูลได้ใกล้เคียงอัตราคงที่โดยประมาณ
    • มนุษย์พูดเป็นประโยคที่มีความยาวคงที่
  4. พารามิเตอร์ tau ในการควบคุมการสุ่มตัวอย่างทั่วไปมีอะไรบ้าง
    • อัตราการเรียนรู้ระหว่างการฝึก
    • จำนวนชั้นในโมเดล
    • ความยาวประโยคสูงสุด
    • มวลความน่าจะเป็นสะสมที่รวบรวมไว้ในเซตทั่วไป
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. ซอฟต์แวร์ประเภทใดที่นักพัฒนามักเปิดเผยตัวอย่างโดยทั่วไป
    • แอปพลิเคชันสเปรดชีต
    • ไลบรารีการอนุมาน LLM แบบโอเพ่นซอร์ส เช่น Hugging Face Transformers
    • เครื่องมือแก้ไขภาพ
    • เอ็นจิ้นการสืบค้นฐานข้อมูล
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set