แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการปรับแต่งพร้อมท์
ตรวจสอบซอฟต์พรอมต์ที่เลเยอร์อินพุต การตั้งค่าโมเดลแช่แข็ง และผลลัพธ์ที่ขึ้นกับขนาดที่รายงานสำหรับการปรับพร้อมต์
คำถาม 1 ของ 8
'soft prompt' ในการปรับพร้อมท์คืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- 'soft prompt' ในการปรับพร้อมท์คืออะไร?
- เรียนรู้การฝังเวกเตอร์อย่างต่อเนื่องซึ่งไม่จำเป็นต้องแมปกับคำจริง
- คำแนะนำข้อความที่สุภาพ
- สำเนากลั่นกรองขนาดเล็กของแบบจำลอง
- ชุดของการบันทึกเอาต์พุตที่ค้าง
- การปรับแต่งแบบพร้อมท์จะเพิ่มเวกเตอร์ที่สามารถฝึกได้ที่ไหน?
- อยู่ที่ทุกชั้นของหม้อแปลง
- เฉพาะที่เลเยอร์การฝังอินพุตเท่านั้น
- เฉพาะที่เลเยอร์เอาท์พุตเท่านั้น
- ภายในสถานะเครื่องมือเพิ่มประสิทธิภาพ
- บทความต้นฉบับเน้นถึงผลกระทบที่น่าประหลาดใจเกี่ยวกับขนาดของแบบจำลองอย่างไร
- การปรับแต่งแบบพร้อมท์จะแย่ลงเมื่อโมเดลเติบโตขึ้น
- สเกลไม่มีผลต่อการปรับจูนทันที
- เมื่อโมเดลมีขนาดใหญ่ขึ้น การปรับแต่งแบบทันทีจะเข้าใกล้คุณภาพการปรับแต่งแบบละเอียดเต็มที่
- ไม่สามารถปรับแต่งโมเดลที่ใหญ่กว่าได้อีกต่อไป
- ใครเป็นคนแนะนำการปรับจูนแบบทันที?
- DeepMind ในปี 2559
- Anthropic ในปี 2023
- Microsoft ในปี 2019
- นักวิจัยที่ Google (เลสเตอร์, อัล-รูฟู, คอนสแตนต์) ในปี 2021
- การปรับแต่งพร้อมท์ช่วยให้สามารถให้บริการงานต่างๆ จากโมเดลเดียวได้อย่างไร
- แต่ละงานจะใช้พรอมต์ซอฟต์พรอมต์เล็กๆ ของตัวเองในขณะที่โมเดลยังคงค้างอยู่
- จะฝึกโมเดลทั้งหมดใหม่สำหรับแต่ละคำขอ
- มันจะลบงานที่ไม่ได้ใช้ออกจากตุ้มน้ำหนัก
- ต้องใช้ GPU แยกต่างหากต่องาน
- How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
- As a replacement for frozen language models
- As a simpler related method that the paper compares with prefix tuning
- As a tokenizer with no trainable parameters
- As a method that updates every model weight
- Which model family did Lester and colleagues use to study prompt tuning across scales?
- เวฟเน็ต
- AlphaFold2
- T5
- ป่าโดดเดี่ยว
- How are soft prompts optimized in prompt tuning?
- By changing all model weights for each task
- By replacing embeddings with hard-coded words only
- By training a new tokenizer for every example
- By backpropagation through a frozen language model to update the prompt vectors