แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการทำนายโทเค็นถัดไป

ทบทวนการฝึกอบรมแบบจำลองภาษาแบบถอยหลังอัตโนมัติ บริบทเชิงสาเหตุ การบังคับครู และความแตกต่างระหว่างการฝึกอบรมและรุ่น

เส้นทางแนะนำที่เกี่ยวข้องการทำนายโทเค็นถัดไป
คำถาม 1 ของ 8

โมเดลการทำนายโทเค็นถัดไปจะส่งออกผลลัพธ์อย่างไรในแต่ละขั้นตอน

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. โมเดลการทำนายโทเค็นถัดไปจะส่งออกผลลัพธ์อย่างไรในแต่ละขั้นตอน
    • การกระจายความน่าจะเป็นเหนือคำศัพท์สำหรับโทเค็นถัดไป
    • คำเดียวที่คงที่
    • การแปลประโยค
    • คะแนนไวยากรณ์
  2. ตัวถอดรหัสสไตล์ GPT ใช้ความสนใจประเภทใด
    • ความสนใจแบบสองทิศทาง
    • ความสนใจเชิงสาเหตุ (ปกปิด) ที่ซ่อนโทเค็นในอนาคต
    • ไม่มีความสนใจเลย
    • ความสนใจแบบสุ่ม
  3. การสร้าง 'การถดถอยอัตโนมัติ' หมายถึงอะไรที่นี่
    • โมเดลจะสร้างโทเค็นทั้งหมดพร้อมกัน
    • แบบจำลองถดถอยเป็นค่าเฉลี่ย
    • โทเค็นใหม่แต่ละรายการจะถูกต่อท้ายและป้อนกลับเพื่อคาดการณ์โทเค็นถัดไป
    • โทเค็นจะถูกสร้างขึ้นตามลำดับแบบสุ่ม
  4. โดยทั่วไปฟังก์ชันการสูญเสียใดที่จะถูกย่อให้เล็กสุดระหว่างการฝึก?
    • ค่าคลาดเคลื่อนกำลังสองเฉลี่ย
    • การสูญเสียบานพับ
    • ระยะทางโคไซน์
    • เอนโทรปีข้ามโทเค็นถัดไป
  5. การเพิ่มอุณหภูมิระหว่างการเก็บตัวอย่างมีประโยชน์อย่างไร
    • ทำให้เอาต์พุตมีแบบสุ่มและสร้างสรรค์มากขึ้น
    • ทำให้เอาท์พุตถูกกำหนดไว้อย่างเคร่งครัด
    • ช่วยเพิ่มขนาดคำศัพท์
    • ลบชั้น softmax
  6. ก่อนการคาดคะเน โดยปกติแล้ว Raw Text จะเตรียมอย่างไร
    • มีการแปลเป็นภาษาอังกฤษ
    • มันถูกแบ่งออกเป็นโทเค็นโดย tokenizer
    • มันถูกแปลงเป็นเสียง
    • เหลือไว้เป็นอักขระดิบโดยไม่มีการประมวลผล
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix