แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการทำนายโทเค็นถัดไป
ทบทวนการฝึกอบรมแบบจำลองภาษาแบบถอยหลังอัตโนมัติ บริบทเชิงสาเหตุ การบังคับครู และความแตกต่างระหว่างการฝึกอบรมและรุ่น
คำถาม 1 ของ 8
โมเดลการทำนายโทเค็นถัดไปจะส่งออกผลลัพธ์อย่างไรในแต่ละขั้นตอน
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- โมเดลการทำนายโทเค็นถัดไปจะส่งออกผลลัพธ์อย่างไรในแต่ละขั้นตอน
- การกระจายความน่าจะเป็นเหนือคำศัพท์สำหรับโทเค็นถัดไป
- คำเดียวที่คงที่
- การแปลประโยค
- คะแนนไวยากรณ์
- ตัวถอดรหัสสไตล์ GPT ใช้ความสนใจประเภทใด
- ความสนใจแบบสองทิศทาง
- ความสนใจเชิงสาเหตุ (ปกปิด) ที่ซ่อนโทเค็นในอนาคต
- ไม่มีความสนใจเลย
- ความสนใจแบบสุ่ม
- การสร้าง 'การถดถอยอัตโนมัติ' หมายถึงอะไรที่นี่
- โมเดลจะสร้างโทเค็นทั้งหมดพร้อมกัน
- แบบจำลองถดถอยเป็นค่าเฉลี่ย
- โทเค็นใหม่แต่ละรายการจะถูกต่อท้ายและป้อนกลับเพื่อคาดการณ์โทเค็นถัดไป
- โทเค็นจะถูกสร้างขึ้นตามลำดับแบบสุ่ม
- โดยทั่วไปฟังก์ชันการสูญเสียใดที่จะถูกย่อให้เล็กสุดระหว่างการฝึก?
- ค่าคลาดเคลื่อนกำลังสองเฉลี่ย
- การสูญเสียบานพับ
- ระยะทางโคไซน์
- เอนโทรปีข้ามโทเค็นถัดไป
- การเพิ่มอุณหภูมิระหว่างการเก็บตัวอย่างมีประโยชน์อย่างไร
- ทำให้เอาต์พุตมีแบบสุ่มและสร้างสรรค์มากขึ้น
- ทำให้เอาท์พุตถูกกำหนดไว้อย่างเคร่งครัด
- ช่วยเพิ่มขนาดคำศัพท์
- ลบชั้น softmax
- ก่อนการคาดคะเน โดยปกติแล้ว Raw Text จะเตรียมอย่างไร
- มีการแปลเป็นภาษาอังกฤษ
- มันถูกแบ่งออกเป็นโทเค็นโดย tokenizer
- มันถูกแปลงเป็นเสียง
- เหลือไว้เป็นอักขระดิบโดยไม่มีการประมวลผล
- During next-token training, what is teacher forcing?
- The model receives future target tokens before the input
- The model randomly changes the tokenizer at every step
- The model receives the ground-truth preceding tokens when predicting the next token
- The model always samples its own previous prediction during training
- What mismatch can arise because generation feeds back model-produced tokens?
- The model can no longer use attention
- The vocabulary disappears after the first token
- The model’s loss is computed only on images
- Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix