แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
Perplexity และแบบทดสอบเมตริกภาษา
ตรวจสอบความน่าจะเป็นของโทเค็นอ้างอิง, เอนโทรปีข้าม, เส้นฐานที่สม่ำเสมอ, โทเค็นไลเซชันที่เปรียบเทียบได้, BLEU, ขีดจำกัดคุณภาพ, กรอบเวลาบริบท และโมเดลที่ปกปิด
คำถาม 1 ของ 8
ภายใต้การตั้งค่าการให้คะแนนข้อความแบบ autoregressive แบบเดียวกัน ค่าความสับสน (perplexity) ที่ต่ำกว่าบ่งบอกถึงอะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ภายใต้การตั้งค่าการให้คะแนนข้อความแบบ autoregressive แบบเดียวกัน ค่าความสับสน (perplexity) ที่ต่ำกว่าบ่งบอกถึงอะไร
- Lower average negative log-likelihood for the reference tokens
- A guarantee of more factually correct generated answers
- A guarantee of a larger parameter count
- A requirement that every top-choice prediction be correct
- เมื่อใช้ค่าลบของลอการิทึมความควรจะเป็นแบบลอการิทึมธรรมชาติ ค่าความสับสน (perplexity) แบบ autoregressive คำนวณจากค่าเฉลี่ยอย่างไร
- By multiplying the parameter count by the context length
- By subtracting the average from the number of attention heads
- By taking the average learning rate
- By exponentiating the average negative log-likelihood
- แบบจำลองกำหนดความน่าจะเป็นแบบสม่ำเสมอสำหรับคำศัพท์ 10,000 คำโดยไม่ต้องเรียนรู้ ความฉงนสนเท่ห์ของมันคืออะไร?
- 1
- 10,000
- 0
- 100
- เหตุใดการตั้งค่าตัวตัดโทเค็นและคลังข้อมูลจึงมีความสำคัญเมื่อเปรียบเทียบค่าความสับสน (perplexity) ต่อโทเค็นโดยตรง
- Perplexity ignores every scored reference token
- All corpora necessarily produce the same likelihood
- They change the units or reference data over which probabilities are averaged
- Only model parameter count determines the score
- เมตริกการเปรียบเทียบการแปลใดที่ใช้ความแม่นยำของ n-gram ที่ปรับปรุงแล้วและบทลงโทษความสั้น (brevity penalty)
- Perplexity
- ข้อผิดพลาดพิกเซลกำลังสองเฉลี่ย
- จำนวนพารามิเตอร์ของโมเดล
- เบลอ
- ข้อจำกัดสำคัญประการใดที่ผลักดันให้นักวิจัยก้าวข้ามความซับซ้อนในการตัดสินคุณภาพในโลกแห่งความเป็นจริง
- Perplexity วัดการคาดเดาคำถัดไป ไม่ว่าผลลัพธ์จะมีประโยชน์ จริง หรือมีประโยชน์
- Perplexity แพงเกินกว่าจะคำนวณได้
- Perplexity ไม่สามารถคำนวณจากข้อมูลข้อความได้
- Perplexity ใช้งานได้เฉพาะในระหว่างการอนุมาน ไม่ใช่การฝึก
- When scoring a long text with a fixed-context model, what can a sliding-window procedure provide that disjoint chunks lose near boundaries?
- A new vocabulary learned automatically at every boundary
- A guarantee that generated answers are factually correct
- More preceding context for the scored target tokens
- A requirement to count each overlapping target repeatedly
- Why is conventional left-to-right perplexity not directly the same score for a BERT-style masked language model?
- BERT has no learned parameters
- The masked model does not directly define the same autoregressive sequence factorization
- Every masked-token probability is necessarily zero
- Perplexity is defined only for image pixels