แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการปรับแต่งคำนำหน้า
ประเมินวิธีการแช่แข็งแกนหลักของการปรับแต่งคำนำหน้า การประหยัดพารามิเตอร์ต่องาน การวางตำแหน่งเลเยอร์ความสนใจ และผลลัพธ์ของงานการสร้างภาษาธรรมชาติ
คำถาม 1 ของ 8
การปรับแต่งคำนำหน้าฝึกอะไรจริงๆ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การปรับแต่งคำนำหน้าฝึกอะไรจริงๆ
- ตุ้มน้ำหนักหม้อแปลงของรุ่นทั้งหมด
- เฉพาะเลเยอร์คำศัพท์เอาต์พุตของโมเดลเท่านั้น
- สำเนาแบบจำลองแยกต่างหากสำหรับแต่ละงาน
- เวกเตอร์คำนำหน้าต่อเนื่องชุดเล็กๆ ในขณะที่โมเดลยังคงค้างอยู่
- เวกเตอร์คำนำหน้าถูกฉีดที่ไหน?
- เข้าไปในคีย์และค่าในทุกชั้นความสนใจ
- เฉพาะที่เลเยอร์เอาต์พุตสุดท้ายเท่านั้น
- เข้าสู่ฟังก์ชันการสูญเสียเท่านั้น
- ลงในโทเค็นไนเซอร์ก่อนทำการฝัง
- ใครเป็นผู้แนะนำการปรับคำนำหน้าและเมื่อใดโดยประมาณ
- OpenAI ในปี 2018
- Li และ Liang ที่ Stanford ในปี 2021
- Google ในปี 2558
- Meta ในปี 2023
- เหตุใดการปรับแต่งคำนำหน้าจึงน่าสนใจสำหรับการทำงานหลายอย่าง
- มันไม่จำเป็นต้องมีข้อมูลการฝึกอบรมเลย
- ทำให้การอนุมานทำงานได้โดยไม่ต้องใช้ฮาร์ดแวร์
- แต่ละงานต้องการเพียงคำนำหน้าเล็กๆ เท่านั้น แทนที่จะเป็นสำเนาโมเดลแบบเต็ม
- โดยจะเขียนโมเดลพื้นฐานใหม่อย่างถาวรสำหรับงานทั้งหมดในคราวเดียว
- เคล็ดลับใดที่มักใช้เพื่อรักษาเสถียรภาพของการฝึกคำนำหน้า?
- เพิ่มอัตราการเรียนรู้เป็นสองเท่าทุกขั้นตอน
- หยุดคำนำหน้าและฝึกโมเดล
- การลบชั้นความสนใจทั้งหมด
- การกำหนดพารามิเตอร์คำนำหน้าใหม่ผ่านเครือข่ายฟีดฟอร์เวิร์ดขนาดเล็กที่ถูกละทิ้งในภายหลัง
- การปรับแต่งคำนำหน้ามีความโดดเด่นเป็นพิเศษในงานประเภทใด
- การสร้างภาษาธรรมชาติ เช่น ตารางเป็นข้อความและการสรุป
- การจำแนกประเภทภาพ
- การสังเคราะห์รูปคลื่นเสียง
- การจัดทำดัชนีฐานข้อมูล
- What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
- About 10%
- About 0.1%
- ประมาณ 50%
- All model parameters
- How did prefix-tuning perform in the paper’s low-data settings?
- It always matched full fine-tuning on every task
- It could not train with limited examples
- It outperformed full fine-tuning in some evaluated low-data cases
- It changed every backbone parameter