แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
เลเยอร์อะแดปเตอร์สำหรับแบบทดสอบการโอน
ตรวจสอบว่าอะแดปเตอร์คอขวดรักษาโมเดลพื้นฐานที่ค้าง เปิดใช้งานงานโมดูลาร์หรือถ่ายโอนโดเมน และเปรียบเทียบกับ LoRA ได้อย่างไร
คำถาม 1 ของ 8
จะเกิดอะไรขึ้นกับตุ้มน้ำหนักฝึกหัดดั้งเดิมเมื่อฝึกโดยใช้อะแดปเตอร์
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- จะเกิดอะไรขึ้นกับตุ้มน้ำหนักฝึกหัดดั้งเดิมเมื่อฝึกโดยใช้อะแดปเตอร์
- พวกมันจะหยุดนิ่งในขณะที่ฝึกฝนเฉพาะพารามิเตอร์ของอะแดปเตอร์เท่านั้น
- พวกเขาจะถูกลบ
- พวกเขาจะเริ่มต้นใหม่แบบสุ่ม
- มีขนาดเป็นสองเท่า
- โครงสร้างภายในโดยทั่วไปของอะแดปเตอร์คอขวดคืออะไร?
- ชั้นเดียวหนาทึบขนาดใหญ่
- การฉายภาพลง ความไม่เชิงเส้น จากนั้นจึงฉายภาพขึ้น โดยมีการเชื่อมต่อที่เหลือ
- มีเพียงหัวความสนใจเท่านั้น
- ตัวกรองภาพแบบหมุนวน
- โดยทั่วไปแล้วอะแดปเตอร์จะฝึกฝนพารามิเตอร์ประมาณเศษส่วนเท่าใด
- 100%
- 50% พอดี
- มักจะต่ำกว่า 5%
- ไม่มีเลย
- เหตุใดอะแดปเตอร์จึงสะดวกสำหรับการทำงานหลายอย่าง?
- พวกเขาต้องการสำเนาแบบจำลองฉบับเต็มแยกต่างหากสำหรับแต่ละงาน
- ไม่สามารถรวมกันได้
- พวกเขาลบโมเดลพื้นฐานหลังจากแต่ละงาน
- คุณเก็บโมเดลพื้นฐานไว้หนึ่งโมเดลและสลับอะแดปเตอร์ขนาดเล็กต่องาน
- อะแดปเตอร์อยู่ในกลุ่มเทคนิคใด
- การปรับพารามิเตอร์อย่างมีประสิทธิภาพ (PEFT)
- การเพิ่มข้อมูล
- การบีบอัดภาพ
- แผนการโทเค็น
- LoRA มีข้อได้เปรียบเหนืออะแดปเตอร์แบบเสียบแบบคลาสสิกในเวลาอนุมานอย่างไร
- มันไม่สามารถฝึกได้
- น้ำหนักที่เรียนรู้ของมันสามารถรวมเข้ากับเมทริกซ์ฐานได้ เพื่อหลีกเลี่ยงเวลาแฝงต่อเลเยอร์เพิ่มเติม
- มันต้องมีการฝึกอบรมโมเดลทั้งหมดใหม่
- มันจะลบการเชื่อมต่อที่เหลืออย่างถาวร
- What does a residual connection contribute to a classic bottleneck adapter?
- A second full pretrained model copy for each task
- A mandatory external retrieval database
- A path that adds the adapter’s transformed representation back to the original hidden state
- A guarantee that no added computation occurs
- What is one benefit of stacking a domain adapter with a task adapter?
- Merge all user data into the frozen base weights automatically
- Avoid using any adapter modules
- Convert a language model into a vision encoder
- Reuse a domain specialization together with a separate task specialization