แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการสุ่มตัวอย่างทั่วไป
ตรวจสอบความประหลาดใจทั่วไป การจัดอันดับตามเอนโทรปี เกณฑ์มวล generic_p และความแตกต่างจากการสุ่มตัวอย่าง top-p ที่จัดอันดับความน่าจะเป็น
คำถาม 1 ของ 8
การสุ่มตัวอย่างโดยทั่วไปมีปริมาณหลักเท่าใดในการเปรียบเทียบโทเค็นผู้สมัครแต่ละรายการกับ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การสุ่มตัวอย่างโดยทั่วไปมีปริมาณหลักเท่าใดในการเปรียบเทียบโทเค็นผู้สมัครแต่ละรายการกับ
- เนื้อหาข้อมูลที่คาดหวัง (เอนโทรปี) ของการกระจาย
- ขนาดคำศัพท์โดยรวมของแบบจำลอง
- ตำแหน่งของโทเค็นในประโยค
- พารามิเตอร์อุณหภูมิเพียงอย่างเดียว
- การสุ่มตัวอย่างโดยทั่วไปจะปฏิบัติต่อโทเค็นที่น่าจะเป็นไปได้มากที่สุดเพียงตัวเดียวอย่างไร
- มันจะเลือกก่อนเสมอ
- อาจยกเว้นได้หากความประหลาดใจนั้นต่ำกว่ามูลค่าที่คาดไว้มาก
- มันเพิ่มความน่าจะเป็นเป็นสองเท่า
- มันละเลยความน่าจะเป็นโดยสิ้นเชิง
- การสุ่มตัวอย่างโดยทั่วไปได้รับแรงบันดาลใจจากแนวคิดใดเกี่ยวกับภาษามนุษย์
- มนุษย์มักจะเลือกคำที่หายากที่สุดที่เป็นไปได้
- มนุษย์ไม่เคยพูดซ้ำคำ
- มนุษย์สื่อสารข้อมูลได้ใกล้เคียงอัตราคงที่โดยประมาณ
- มนุษย์พูดเป็นประโยคที่มีความยาวคงที่
- พารามิเตอร์ tau ในการควบคุมการสุ่มตัวอย่างทั่วไปมีอะไรบ้าง
- อัตราการเรียนรู้ระหว่างการฝึก
- จำนวนชั้นในโมเดล
- ความยาวประโยคสูงสุด
- มวลความน่าจะเป็นสะสมที่รวบรวมไว้ในเซตทั่วไป
- Compared with greedy decoding, what does typical sampling try to change?
- It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
- It always selects the most probable token
- It guarantees every continuation is factually correct
- It removes probability scores from decoding
- ซอฟต์แวร์ประเภทใดที่นักพัฒนามักเปิดเผยตัวอย่างโดยทั่วไป
- แอปพลิเคชันสเปรดชีต
- ไลบรารีการอนุมาน LLM แบบโอเพ่นซอร์ส เช่น Hugging Face Transformers
- เครื่องมือแก้ไขภาพ
- เอ็นจิ้นการสืบค้นฐานข้อมูล
- How does typical sampling rank candidate tokens differently from top-p sampling?
- By alphabetical order of token strings
- By token position in the prompt
- By distance between token surprisal and expected surprisal, rather than probability rank alone
- By the model’s training loss
- Which value does typical_p control?
- The model’s vocabulary size
- The number of transformer layers
- The probability that the answer is factually correct
- The target cumulative probability mass collected in the typical set