แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

ส่วนผสมของแบบทดสอบผู้เชี่ยวชาญ LoRA

ตรวจสอบการอัปเดตอันดับต่ำ (low-rank updates) ของ LoRA, การเกตผู้เชี่ยวชาญ, น้ำหนักฐานที่ถูกแช่แข็ง, ทักษะที่ประกอบกันได้ และการกำหนดเส้นทางต่อเลเยอร์สำหรับอะแดปเตอร์แบบผสม

เส้นทางแนะนำที่เกี่ยวข้องส่วนผสมของผู้เชี่ยวชาญ Lora
คำถาม 1 ของ 8

ส่วน 'LoRA' ของ Mixture of LoRA Experts หมายถึงอะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ส่วน 'LoRA' ของ Mixture of LoRA Experts หมายถึงอะไร
    • การปรับตัวระดับต่ำ ซึ่งฝึกเมทริกซ์ระดับต่ำขนาดเล็กแทนการฝึกน้ำหนักเต็ม
    • รูปแบบการให้รางวัลการเรียนรู้แบบเสริมกำลัง
    • กลไกความสนใจในระยะยาว
    • ไปป์ไลน์การโหลดข้อมูลสำหรับอะแดปเตอร์
  2. หน้าที่ของเครือข่าย gating/router ใน MoLE คืออะไร?
    • เพื่อบีบอัดตุ้มน้ำหนักแบบจำลองฐาน
    • เพื่อตัดสินใจว่าผู้เชี่ยวชาญคนใดที่จะเปิดใช้งาน และมีน้ำหนักเท่าใดสำหรับข้อมูลที่ได้รับ
    • เพื่อสร้างข้อมูลการฝึกอบรมสำหรับอะแดปเตอร์
    • เพื่อแปลงข้อความเป็นการฝัง
  3. เหตุใด MoLE จึงดีกว่าการฝึกอบรมอะแดปเตอร์ตัวเดียวในงานผสมหลายอย่าง
    • ใช้หน่วยความจำ GPU มากขึ้นตามการออกแบบ
    • ช่วยลดความจำเป็นในการใช้โมเดลพื้นฐานใดๆ
    • ช่วยลดการแทรกแซงและการลืมโดยการรักษาทักษะไว้ในผู้เชี่ยวชาญที่แยกส่วนได้
    • มันใช้งานได้ในภาษาเดียวเท่านั้น
  4. ใน LoRA โดยทั่วไปการอัปเดตน้ำหนักจะแสดงตามข้อใดต่อไปนี้
    • เมทริกซ์หนาแน่นเต็มแทนที่ W
    • ตัวคูณสเกลาร์ตัวเดียวบน W
    • เมทริกซ์สัญญาณรบกวนแบบสุ่มถูกเพิ่มในแต่ละขั้นตอน
    • ผลคูณของเมทริกซ์อันดับต่ำสองตัว B คูณ A
  5. ในระหว่างการฝึกแบบ MoLE โดยทั่วไปจะเกิดอะไรขึ้นกับตุ้มน้ำหนักที่ฝึกไว้ล่วงหน้าของโมเดลพื้นฐาน
    • พวกมันจะยังคงค้างในขณะที่มีการฝึกอบรมเฉพาะอะแดปเตอร์และเราเตอร์เท่านั้น
    • พวกเขาได้รับการฝึกอบรมใหม่ทั้งหมดตั้งแต่เริ่มต้น
    • พวกเขาจะถูกลบและสร้างใหม่
    • พวกมันถูกคำนวณเป็นหนึ่งบิต
  6. ในโมเดลภาพการแพร่กระจาย เกตติ้งแบบลำดับชั้น/ต่อเลเยอร์ใน MoLE ช่วยแก้ปัญหาอะไรได้บ้าง
    • ดาวน์โหลดอินเทอร์เน็ตช้า
    • LoRA แนวคิดที่หลากหลายมีประสิทธิภาพเหนือกว่ากันเมื่อประกอบขึ้น
    • ขาดข้อมูลการฝึกอบรม
    • รูปแบบไฟล์ไม่ถูกต้อง
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update