แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการสุ่มตัวอย่างและการรับแสงตามกำหนดเวลา
ตรวจสอบว่าการสุ่มตัวอย่างตามกำหนดการเปลี่ยนแปลงบริบทของตัวถอดรหัสอย่างไร เหตุใดความน่าจะเป็นของโทเค็นทองจึงลดลง และการแลกเปลี่ยนการไล่ระดับสีของการสุ่มตัวอย่าง
คำถาม 1 ของ 8
อคติในการเปิดเผยเกิดขึ้นเนื่องจากแบบจำลองที่ได้รับการฝึกอบรมกับครูบังคับให้มีเงื่อนไขเฉพาะใน:
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- อคติในการเปิดเผยเกิดขึ้นเนื่องจากแบบจำลองที่ได้รับการฝึกอบรมกับครูบังคับให้มีเงื่อนไขเฉพาะใน:
- โทเค็นความจริงที่พื้นดิน แต่ต้องใช้โทเค็นของตัวเองในการอนุมาน
- โทเค็นที่คาดการณ์ไว้ของพวกเขาเอง
- โทเค็นเสียงสุ่ม
- โทเค็นในอนาคต
- การสุ่มตัวอย่างตามกำหนดการทำอะไรในระหว่างการฝึกอบรม?
- ฟีดโทเค็นจริงเสมอ
- สุ่มเลือกระหว่างโทเค็นจริงและการทำนายของโมเดลเอง
- ปิดใช้งานฟังก์ชันการสูญเสียเป็นระยะ
- เพิ่มอัตราการเรียนรู้เป็นสองเท่าเมื่อเวลาผ่านไป
- ความน่าจะเป็นของการใช้โทเค็นความจริงภาคพื้นดินเปลี่ยนแปลงไปจากการฝึกอบรมในการสุ่มตัวอย่างตามกำหนดการอย่างไร
- มันคงที่
- มันเริ่มต้นต่ำและเพิ่มขึ้น
- มันเริ่มต้นสูงและสลายตัวไปสู่ศูนย์
- มันสั่นแบบสุ่ม
- ใครเป็นผู้แนะนำการสุ่มตัวอย่างตามกำหนดเวลา และประมาณเมื่อใด
- วาสวานี และคณะ 2017
- ฮินตัน และคณะ 2549
- เลอคุน และคณะ 1998
- เบงจิโอ และคณะ 2015
- ข้อเสียเปรียบทางเทคนิคที่ได้รับการยอมรับของการป้อนโทเค็นตัวอย่างกลับมาระหว่างการฝึกคือ:
- ขั้นตอนการสุ่มตัวอย่างแบบแยกนั้นไม่สามารถแยกแยะความแตกต่างได้และมีการไล่ระดับสีที่ซับซ้อน
- มันทำให้การฝึกอบรมกำหนดได้อย่างเต็มที่
- มันไม่จำเป็นต้องมีข้อมูลการตรวจสอบ
- ช่วยลดความจำเป็นในการฝัง
- รูปแบบตารางใดที่มักอ้างถึงเพื่อลดความน่าจะเป็นของการบังคับครู
- ค่าคงที่
- การสลายตัวของซิกมอยด์ผกผัน
- การเพิ่มขึ้นเชิงเส้นแบบก้าวขึ้น
- เดินสุ่ม
- At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
- The next ground-truth token every time
- A token from a separate validation sequence
- A token sampled from the model’s predicted distribution
- The average of all vocabulary embeddings
- Why does scheduled sampling usually begin with a high probability of using ground truth?
- It guarantees unbiased gradients
- It removes the need for a training schedule
- It makes inference use ground-truth tokens
- Early predictions are poor, so a correct prefix can stabilize initial learning