แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

เลเยอร์อะแดปเตอร์สำหรับแบบทดสอบการโอน

ตรวจสอบว่าอะแดปเตอร์คอขวดรักษาโมเดลพื้นฐานที่ค้าง เปิดใช้งานงานโมดูลาร์หรือถ่ายโอนโดเมน และเปรียบเทียบกับ LoRA ได้อย่างไร

เส้นทางแนะนำที่เกี่ยวข้องเลเยอร์อะแดปเตอร์สำหรับการถ่ายโอน
คำถาม 1 ของ 8

จะเกิดอะไรขึ้นกับตุ้มน้ำหนักฝึกหัดดั้งเดิมเมื่อฝึกโดยใช้อะแดปเตอร์

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จะเกิดอะไรขึ้นกับตุ้มน้ำหนักฝึกหัดดั้งเดิมเมื่อฝึกโดยใช้อะแดปเตอร์
    • พวกมันจะหยุดนิ่งในขณะที่ฝึกฝนเฉพาะพารามิเตอร์ของอะแดปเตอร์เท่านั้น
    • พวกเขาจะถูกลบ
    • พวกเขาจะเริ่มต้นใหม่แบบสุ่ม
    • มีขนาดเป็นสองเท่า
  2. โครงสร้างภายในโดยทั่วไปของอะแดปเตอร์คอขวดคืออะไร?
    • ชั้นเดียวหนาทึบขนาดใหญ่
    • การฉายภาพลง ความไม่เชิงเส้น จากนั้นจึงฉายภาพขึ้น โดยมีการเชื่อมต่อที่เหลือ
    • มีเพียงหัวความสนใจเท่านั้น
    • ตัวกรองภาพแบบหมุนวน
  3. โดยทั่วไปแล้วอะแดปเตอร์จะฝึกฝนพารามิเตอร์ประมาณเศษส่วนเท่าใด
    • 100%
    • 50% พอดี
    • มักจะต่ำกว่า 5%
    • ไม่มีเลย
  4. เหตุใดอะแดปเตอร์จึงสะดวกสำหรับการทำงานหลายอย่าง?
    • พวกเขาต้องการสำเนาแบบจำลองฉบับเต็มแยกต่างหากสำหรับแต่ละงาน
    • ไม่สามารถรวมกันได้
    • พวกเขาลบโมเดลพื้นฐานหลังจากแต่ละงาน
    • คุณเก็บโมเดลพื้นฐานไว้หนึ่งโมเดลและสลับอะแดปเตอร์ขนาดเล็กต่องาน
  5. อะแดปเตอร์อยู่ในกลุ่มเทคนิคใด
    • การปรับพารามิเตอร์อย่างมีประสิทธิภาพ (PEFT)
    • การเพิ่มข้อมูล
    • การบีบอัดภาพ
    • แผนการโทเค็น
  6. LoRA มีข้อได้เปรียบเหนืออะแดปเตอร์แบบเสียบแบบคลาสสิกในเวลาอนุมานอย่างไร
    • มันไม่สามารถฝึกได้
    • น้ำหนักที่เรียนรู้ของมันสามารถรวมเข้ากับเมทริกซ์ฐานได้ เพื่อหลีกเลี่ยงเวลาแฝงต่อเลเยอร์เพิ่มเติม
    • มันต้องมีการฝึกอบรมโมเดลทั้งหมดใหม่
    • มันจะลบการเชื่อมต่อที่เหลืออย่างถาวร
  7. What does a residual connection contribute to a classic bottleneck adapter?
    • A second full pretrained model copy for each task
    • A mandatory external retrieval database
    • A path that adds the adapter’s transformed representation back to the original hidden state
    • A guarantee that no added computation occurs
  8. What is one benefit of stacking a domain adapter with a task adapter?
    • Merge all user data into the frozen base weights automatically
    • Avoid using any adapter modules
    • Convert a language model into a vision encoder
    • Reuse a domain specialization together with a separate task specialization