แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
คำสาปการกลับรายการในแบบทดสอบ LLM
ทดสอบการเรียกคืนข้อเท็จจริงแบบกำหนดทิศทาง การสืบค้นแบบย้อนกลับ ลำดับการฝึก การควบคุมการทดลอง และขีดจำกัดของการค้นหาคำสาปแบบย้อนกลับ
คำถาม 1 ของ 8
โมเดลเรียนรู้ว่า “A คือ B” แต่ไม่สามารถตอบว่า “B คือ A” ได้ สิ่งนี้เรียกว่าอะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- โมเดลเรียนรู้ว่า “A คือ B” แต่ไม่สามารถตอบว่า “B คือ A” ได้ สิ่งนี้เรียกว่าอะไร?
- The lost-in-the-middle effect
- Catastrophic forgetting
- The reversal curse
- โหมดล่มสลาย
- คำสาปการสลับทิศทางแสดงให้เห็นอะไรเกี่ยวกับการเชื่อมโยงตามทิศทาง?
- Learning one word order does not guarantee reliable recall in the reverse order
- Language models automatically invert every relation
- A fact is always stored as a symmetric database edge
- Fine-tuning removes all directional errors
- คำสาปการสลับทิศทางเป็นเพียงความล้มเหลวเพราะโมเดลไม่เคยเห็นข้อเท็จจริงนั้นมาก่อนใช่หรือไม่?
- Yes, the model must not have read it
- It is caused only by a short context window
- It occurs only when facts are false
- No; it can fail in reverse even after training on the forward statement
- ทำไมการฝึกแบบทำนายโทเค็นถัดไปจึงอาจมีส่วนทำให้เกิดผลลัพธ์นี้?
- It encodes all facts into an unordered table
- It trains on token order, so A-followed-by-B does not automatically teach B-followed-by-A
- It optimizes reverse queries by default
- It prevents memorization of entity names
- How can the effect be tested?
- Compare model performance on matched forward and reverse versions of facts
- Measure only the forward statement
- Change both the entities and question at once
- Use only a general language benchmark
- ความล้มเหลวในการตอบคำถามแบบย้อนกลับบ่งบอกอะไรเกี่ยวกับความรู้ของโมเดล?
- The model has no information about either entity
- The model is necessarily incapable of reasoning
- The model’s learned association may not support flexible inversion
- Every entity relation is symmetric
- Why is a reverse-direction test useful for a factual QA system?
- All questions use the same word order
- Users may ask for either endpoint of a relation
- It measures image classification accuracy
- It guarantees factual truth
- What should be inferred from one model’s reversal-cursed answer?
- All language models fail on every reversed fact
- The model has no semantic representations
- The relation must be false
- A documented failure mode to test, not proof that every model or fact behaves identically