แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการสุ่มตัวอย่างและการรับแสงตามกำหนดเวลา

ตรวจสอบว่าการสุ่มตัวอย่างตามกำหนดการเปลี่ยนแปลงบริบทของตัวถอดรหัสอย่างไร เหตุใดความน่าจะเป็นของโทเค็นทองจึงลดลง และการแลกเปลี่ยนการไล่ระดับสีของการสุ่มตัวอย่าง

คำถาม 1 ของ 8

อคติในการเปิดเผยเกิดขึ้นเนื่องจากแบบจำลองที่ได้รับการฝึกอบรมกับครูบังคับให้มีเงื่อนไขเฉพาะใน:

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อคติในการเปิดเผยเกิดขึ้นเนื่องจากแบบจำลองที่ได้รับการฝึกอบรมกับครูบังคับให้มีเงื่อนไขเฉพาะใน:
    • โทเค็นความจริงที่พื้นดิน แต่ต้องใช้โทเค็นของตัวเองในการอนุมาน
    • โทเค็นที่คาดการณ์ไว้ของพวกเขาเอง
    • โทเค็นเสียงสุ่ม
    • โทเค็นในอนาคต
  2. การสุ่มตัวอย่างตามกำหนดการทำอะไรในระหว่างการฝึกอบรม?
    • ฟีดโทเค็นจริงเสมอ
    • สุ่มเลือกระหว่างโทเค็นจริงและการทำนายของโมเดลเอง
    • ปิดใช้งานฟังก์ชันการสูญเสียเป็นระยะ
    • เพิ่มอัตราการเรียนรู้เป็นสองเท่าเมื่อเวลาผ่านไป
  3. ความน่าจะเป็นของการใช้โทเค็นความจริงภาคพื้นดินเปลี่ยนแปลงไปจากการฝึกอบรมในการสุ่มตัวอย่างตามกำหนดการอย่างไร
    • มันคงที่
    • มันเริ่มต้นต่ำและเพิ่มขึ้น
    • มันเริ่มต้นสูงและสลายตัวไปสู่ศูนย์
    • มันสั่นแบบสุ่ม
  4. ใครเป็นผู้แนะนำการสุ่มตัวอย่างตามกำหนดเวลา และประมาณเมื่อใด
    • วาสวานี และคณะ 2017
    • ฮินตัน และคณะ 2549
    • เลอคุน และคณะ 1998
    • เบงจิโอ และคณะ 2015
  5. ข้อเสียเปรียบทางเทคนิคที่ได้รับการยอมรับของการป้อนโทเค็นตัวอย่างกลับมาระหว่างการฝึกคือ:
    • ขั้นตอนการสุ่มตัวอย่างแบบแยกนั้นไม่สามารถแยกแยะความแตกต่างได้และมีการไล่ระดับสีที่ซับซ้อน
    • มันทำให้การฝึกอบรมกำหนดได้อย่างเต็มที่
    • มันไม่จำเป็นต้องมีข้อมูลการตรวจสอบ
    • ช่วยลดความจำเป็นในการฝัง
  6. รูปแบบตารางใดที่มักอ้างถึงเพื่อลดความน่าจะเป็นของการบังคับครู
    • ค่าคงที่
    • การสลายตัวของซิกมอยด์ผกผัน
    • การเพิ่มขึ้นเชิงเส้นแบบก้าวขึ้น
    • เดินสุ่ม
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning