แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

Perplexity และแบบทดสอบเมตริกภาษา

ตรวจสอบความน่าจะเป็นของโทเค็นอ้างอิง, เอนโทรปีข้าม, เส้นฐานที่สม่ำเสมอ, โทเค็นไลเซชันที่เปรียบเทียบได้, BLEU, ขีดจำกัดคุณภาพ, กรอบเวลาบริบท และโมเดลที่ปกปิด

เส้นทางแนะนำที่เกี่ยวข้องPerplexity และการวัดภาษา
คำถาม 1 ของ 8

ภายใต้การตั้งค่าการให้คะแนนข้อความแบบ autoregressive แบบเดียวกัน ค่าความสับสน (perplexity) ที่ต่ำกว่าบ่งบอกถึงอะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ภายใต้การตั้งค่าการให้คะแนนข้อความแบบ autoregressive แบบเดียวกัน ค่าความสับสน (perplexity) ที่ต่ำกว่าบ่งบอกถึงอะไร
    • Lower average negative log-likelihood for the reference tokens
    • A guarantee of more factually correct generated answers
    • A guarantee of a larger parameter count
    • A requirement that every top-choice prediction be correct
  2. เมื่อใช้ค่าลบของลอการิทึมความควรจะเป็นแบบลอการิทึมธรรมชาติ ค่าความสับสน (perplexity) แบบ autoregressive คำนวณจากค่าเฉลี่ยอย่างไร
    • By multiplying the parameter count by the context length
    • By subtracting the average from the number of attention heads
    • By taking the average learning rate
    • By exponentiating the average negative log-likelihood
  3. แบบจำลองกำหนดความน่าจะเป็นแบบสม่ำเสมอสำหรับคำศัพท์ 10,000 คำโดยไม่ต้องเรียนรู้ ความฉงนสนเท่ห์ของมันคืออะไร?
    • 1
    • 10,000
    • 0
    • 100
  4. เหตุใดการตั้งค่าตัวตัดโทเค็นและคลังข้อมูลจึงมีความสำคัญเมื่อเปรียบเทียบค่าความสับสน (perplexity) ต่อโทเค็นโดยตรง
    • Perplexity ignores every scored reference token
    • All corpora necessarily produce the same likelihood
    • They change the units or reference data over which probabilities are averaged
    • Only model parameter count determines the score
  5. เมตริกการเปรียบเทียบการแปลใดที่ใช้ความแม่นยำของ n-gram ที่ปรับปรุงแล้วและบทลงโทษความสั้น (brevity penalty)
    • Perplexity
    • ข้อผิดพลาดพิกเซลกำลังสองเฉลี่ย
    • จำนวนพารามิเตอร์ของโมเดล
    • เบลอ
  6. ข้อจำกัดสำคัญประการใดที่ผลักดันให้นักวิจัยก้าวข้ามความซับซ้อนในการตัดสินคุณภาพในโลกแห่งความเป็นจริง
    • Perplexity วัดการคาดเดาคำถัดไป ไม่ว่าผลลัพธ์จะมีประโยชน์ จริง หรือมีประโยชน์
    • Perplexity แพงเกินกว่าจะคำนวณได้
    • Perplexity ไม่สามารถคำนวณจากข้อมูลข้อความได้
    • Perplexity ใช้งานได้เฉพาะในระหว่างการอนุมาน ไม่ใช่การฝึก
  7. When scoring a long text with a fixed-context model, what can a sliding-window procedure provide that disjoint chunks lose near boundaries?
    • A new vocabulary learned automatically at every boundary
    • A guarantee that generated answers are factually correct
    • More preceding context for the scored target tokens
    • A requirement to count each overlapping target repeatedly
  8. Why is conventional left-to-right perplexity not directly the same score for a BERT-style masked language model?
    • BERT has no learned parameters
    • The masked model does not directly define the same autoregressive sequence factorization
    • Every masked-token probability is necessarily zero
    • Perplexity is defined only for image pixels