แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
ส่วนผสมของแบบทดสอบผู้เชี่ยวชาญ LoRA
ตรวจสอบการอัปเดตอันดับต่ำ (low-rank updates) ของ LoRA, การเกตผู้เชี่ยวชาญ, น้ำหนักฐานที่ถูกแช่แข็ง, ทักษะที่ประกอบกันได้ และการกำหนดเส้นทางต่อเลเยอร์สำหรับอะแดปเตอร์แบบผสม
คำถาม 1 ของ 8
ส่วน 'LoRA' ของ Mixture of LoRA Experts หมายถึงอะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ส่วน 'LoRA' ของ Mixture of LoRA Experts หมายถึงอะไร
- การปรับตัวระดับต่ำ ซึ่งฝึกเมทริกซ์ระดับต่ำขนาดเล็กแทนการฝึกน้ำหนักเต็ม
- รูปแบบการให้รางวัลการเรียนรู้แบบเสริมกำลัง
- กลไกความสนใจในระยะยาว
- ไปป์ไลน์การโหลดข้อมูลสำหรับอะแดปเตอร์
- หน้าที่ของเครือข่าย gating/router ใน MoLE คืออะไร?
- เพื่อบีบอัดตุ้มน้ำหนักแบบจำลองฐาน
- เพื่อตัดสินใจว่าผู้เชี่ยวชาญคนใดที่จะเปิดใช้งาน และมีน้ำหนักเท่าใดสำหรับข้อมูลที่ได้รับ
- เพื่อสร้างข้อมูลการฝึกอบรมสำหรับอะแดปเตอร์
- เพื่อแปลงข้อความเป็นการฝัง
- เหตุใด MoLE จึงดีกว่าการฝึกอบรมอะแดปเตอร์ตัวเดียวในงานผสมหลายอย่าง
- ใช้หน่วยความจำ GPU มากขึ้นตามการออกแบบ
- ช่วยลดความจำเป็นในการใช้โมเดลพื้นฐานใดๆ
- ช่วยลดการแทรกแซงและการลืมโดยการรักษาทักษะไว้ในผู้เชี่ยวชาญที่แยกส่วนได้
- มันใช้งานได้ในภาษาเดียวเท่านั้น
- ใน LoRA โดยทั่วไปการอัปเดตน้ำหนักจะแสดงตามข้อใดต่อไปนี้
- เมทริกซ์หนาแน่นเต็มแทนที่ W
- ตัวคูณสเกลาร์ตัวเดียวบน W
- เมทริกซ์สัญญาณรบกวนแบบสุ่มถูกเพิ่มในแต่ละขั้นตอน
- ผลคูณของเมทริกซ์อันดับต่ำสองตัว B คูณ A
- ในระหว่างการฝึกแบบ MoLE โดยทั่วไปจะเกิดอะไรขึ้นกับตุ้มน้ำหนักที่ฝึกไว้ล่วงหน้าของโมเดลพื้นฐาน
- พวกมันจะยังคงค้างในขณะที่มีการฝึกอบรมเฉพาะอะแดปเตอร์และเราเตอร์เท่านั้น
- พวกเขาได้รับการฝึกอบรมใหม่ทั้งหมดตั้งแต่เริ่มต้น
- พวกเขาจะถูกลบและสร้างใหม่
- พวกมันถูกคำนวณเป็นหนึ่งบิต
- ในโมเดลภาพการแพร่กระจาย เกตติ้งแบบลำดับชั้น/ต่อเลเยอร์ใน MoLE ช่วยแก้ปัญหาอะไรได้บ้าง
- ดาวน์โหลดอินเทอร์เน็ตช้า
- LoRA แนวคิดที่หลากหลายมีประสิทธิภาพเหนือกว่ากันเมื่อประกอบขึ้น
- ขาดข้อมูลการฝึกอบรม
- รูปแบบไฟล์ไม่ถูกต้อง
- How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
- It must retrain the pretrained backbone for every prompt
- It can use only one expert for all inputs
- It can select or weight experts conditionally for a task or layer
- It removes every low-rank matrix before inference
- In a LoRA update with rank r, what does r control most directly?
- The number of decoder tokens generated
- The number of original model layers removed
- The size of the training vocabulary
- The dimension of the low-rank factors and thus the capacity and parameter cost of the update