แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการปรับแต่งพร้อมท์

ตรวจสอบซอฟต์พรอมต์ที่เลเยอร์อินพุต การตั้งค่าโมเดลแช่แข็ง และผลลัพธ์ที่ขึ้นกับขนาดที่รายงานสำหรับการปรับพร้อมต์

เส้นทางแนะนำที่เกี่ยวข้องการปรับแต่งพร้อมท์
คำถาม 1 ของ 8

'soft prompt' ในการปรับพร้อมท์คืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. 'soft prompt' ในการปรับพร้อมท์คืออะไร?
    • เรียนรู้การฝังเวกเตอร์อย่างต่อเนื่องซึ่งไม่จำเป็นต้องแมปกับคำจริง
    • คำแนะนำข้อความที่สุภาพ
    • สำเนากลั่นกรองขนาดเล็กของแบบจำลอง
    • ชุดของการบันทึกเอาต์พุตที่ค้าง
  2. การปรับแต่งแบบพร้อมท์จะเพิ่มเวกเตอร์ที่สามารถฝึกได้ที่ไหน?
    • อยู่ที่ทุกชั้นของหม้อแปลง
    • เฉพาะที่เลเยอร์การฝังอินพุตเท่านั้น
    • เฉพาะที่เลเยอร์เอาท์พุตเท่านั้น
    • ภายในสถานะเครื่องมือเพิ่มประสิทธิภาพ
  3. บทความต้นฉบับเน้นถึงผลกระทบที่น่าประหลาดใจเกี่ยวกับขนาดของแบบจำลองอย่างไร
    • การปรับแต่งแบบพร้อมท์จะแย่ลงเมื่อโมเดลเติบโตขึ้น
    • สเกลไม่มีผลต่อการปรับจูนทันที
    • เมื่อโมเดลมีขนาดใหญ่ขึ้น การปรับแต่งแบบทันทีจะเข้าใกล้คุณภาพการปรับแต่งแบบละเอียดเต็มที่
    • ไม่สามารถปรับแต่งโมเดลที่ใหญ่กว่าได้อีกต่อไป
  4. ใครเป็นคนแนะนำการปรับจูนแบบทันที?
    • DeepMind ในปี 2559
    • Anthropic ในปี 2023
    • Microsoft ในปี 2019
    • นักวิจัยที่ Google (เลสเตอร์, อัล-รูฟู, คอนสแตนต์) ในปี 2021
  5. การปรับแต่งพร้อมท์ช่วยให้สามารถให้บริการงานต่างๆ จากโมเดลเดียวได้อย่างไร
    • แต่ละงานจะใช้พรอมต์ซอฟต์พรอมต์เล็กๆ ของตัวเองในขณะที่โมเดลยังคงค้างอยู่
    • จะฝึกโมเดลทั้งหมดใหม่สำหรับแต่ละคำขอ
    • มันจะลบงานที่ไม่ได้ใช้ออกจากตุ้มน้ำหนัก
    • ต้องใช้ GPU แยกต่างหากต่องาน
  6. How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
    • As a replacement for frozen language models
    • As a simpler related method that the paper compares with prefix tuning
    • As a tokenizer with no trainable parameters
    • As a method that updates every model weight
  7. Which model family did Lester and colleagues use to study prompt tuning across scales?
    • เวฟเน็ต
    • AlphaFold2
    • T5
    • ป่าโดดเดี่ยว
  8. How are soft prompts optimized in prompt tuning?
    • By changing all model weights for each task
    • By replacing embeddings with hard-coded words only
    • By training a new tokenizer for every example
    • By backpropagation through a frozen language model to update the prompt vectors