แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการปรับแต่งคำนำหน้า

ประเมินวิธีการแช่แข็งแกนหลักของการปรับแต่งคำนำหน้า การประหยัดพารามิเตอร์ต่องาน การวางตำแหน่งเลเยอร์ความสนใจ และผลลัพธ์ของงานการสร้างภาษาธรรมชาติ

เส้นทางแนะนำที่เกี่ยวข้องการปรับแต่งคำนำหน้า
คำถาม 1 ของ 8

การปรับแต่งคำนำหน้าฝึกอะไรจริงๆ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การปรับแต่งคำนำหน้าฝึกอะไรจริงๆ
    • ตุ้มน้ำหนักหม้อแปลงของรุ่นทั้งหมด
    • เฉพาะเลเยอร์คำศัพท์เอาต์พุตของโมเดลเท่านั้น
    • สำเนาแบบจำลองแยกต่างหากสำหรับแต่ละงาน
    • เวกเตอร์คำนำหน้าต่อเนื่องชุดเล็กๆ ในขณะที่โมเดลยังคงค้างอยู่
  2. เวกเตอร์คำนำหน้าถูกฉีดที่ไหน?
    • เข้าไปในคีย์และค่าในทุกชั้นความสนใจ
    • เฉพาะที่เลเยอร์เอาต์พุตสุดท้ายเท่านั้น
    • เข้าสู่ฟังก์ชันการสูญเสียเท่านั้น
    • ลงในโทเค็นไนเซอร์ก่อนทำการฝัง
  3. ใครเป็นผู้แนะนำการปรับคำนำหน้าและเมื่อใดโดยประมาณ
    • OpenAI ในปี 2018
    • Li และ Liang ที่ Stanford ในปี 2021
    • Google ในปี 2558
    • Meta ในปี 2023
  4. เหตุใดการปรับแต่งคำนำหน้าจึงน่าสนใจสำหรับการทำงานหลายอย่าง
    • มันไม่จำเป็นต้องมีข้อมูลการฝึกอบรมเลย
    • ทำให้การอนุมานทำงานได้โดยไม่ต้องใช้ฮาร์ดแวร์
    • แต่ละงานต้องการเพียงคำนำหน้าเล็กๆ เท่านั้น แทนที่จะเป็นสำเนาโมเดลแบบเต็ม
    • โดยจะเขียนโมเดลพื้นฐานใหม่อย่างถาวรสำหรับงานทั้งหมดในคราวเดียว
  5. เคล็ดลับใดที่มักใช้เพื่อรักษาเสถียรภาพของการฝึกคำนำหน้า?
    • เพิ่มอัตราการเรียนรู้เป็นสองเท่าทุกขั้นตอน
    • หยุดคำนำหน้าและฝึกโมเดล
    • การลบชั้นความสนใจทั้งหมด
    • การกำหนดพารามิเตอร์คำนำหน้าใหม่ผ่านเครือข่ายฟีดฟอร์เวิร์ดขนาดเล็กที่ถูกละทิ้งในภายหลัง
  6. การปรับแต่งคำนำหน้ามีความโดดเด่นเป็นพิเศษในงานประเภทใด
    • การสร้างภาษาธรรมชาติ เช่น ตารางเป็นข้อความและการสรุป
    • การจำแนกประเภทภาพ
    • การสังเคราะห์รูปคลื่นเสียง
    • การจัดทำดัชนีฐานข้อมูล
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • ประมาณ 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter