แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการปรับแต่ง LoRA และพารามิเตอร์ที่มีประสิทธิภาพ

ตรวจสอบน้ำหนัก LoRA ที่แช่แข็ง การประหยัดสถานะที่ฝึกได้ อันดับ พื้นที่จัดเก็บ QLoRA การผสานที่เข้ากันได้ ฐานที่ใช้ร่วมกัน จำนวนพารามิเตอร์ และการหาปริมาณสองเท่า

คำถาม 1 ของ 8

In the original LoRA formulation for a selected weight matrix, what is learned while that matrix stays frozen?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. In the original LoRA formulation for a selected weight matrix, what is learned while that matrix stays frozen?
    • A replacement vocabulary with no weight update
    • Every entry of the full base matrix from random initialization
    • Two factor matrices forming an additive low-rank update
    • A permanent deletion of the entire selected layer
  2. Which resource requirements can fewer trainable LoRA parameters reduce compared with full fine-tuning?
    • Every base-model computation by definition
    • All activation storage regardless of the training procedure
    • A guaranteed universal percentage of total runtime memory
    • Optimizer-state and task-checkpoint requirements
  3. อันดับ 'r' ในการควบคุมอะแดปเตอร์ LoRA คืออะไร
    • มิติภายในของเมทริกซ์ระดับต่ำสองตัว กำลังตั้งค่าความจุของอะแด็ปเตอร์
    • จำนวนชั้นในโมเดลพื้นฐาน
    • อัตราการเรียนรู้ระหว่างการฝึก
    • ต้องใช้ GPU กี่ตัว
  4. Which storage and adaptation choices are combined in the QLoRA paper?
    • Updating every base weight directly as a 4-bit integer gradient
    • A frozen low-bit base with trainable LoRA adapters
    • Removing all adapters and all task data
    • A guarantee that every model fits every consumer GPU
  5. What can a compatible dense merge of a LoRA update remove from that layer's inference computation?
    • The need to evaluate the base layer at all
    • Every possible dtype compatibility requirement
    • A requirement that all future task updates become identical
    • The need to evaluate a separate adapter branch
  6. Which reuse pattern is supported by storing compatible task adapters separately from a base checkpoint?
    • Every adapter automatically makes every task factually correct
    • All serving systems must switch tasks with zero overhead
    • Multiple task updates can share the same pretrained base
    • The base checkpoint is no longer needed for inference
  7. For a stated 4-by-4 weight update with rank-one factors shaped 4-by-1 and 1-by-4, how many factor parameters are there?
    • สิบหก
    • แปด
    • สี่
    • Thirty-two
  8. What does QLoRA's double-quantization technique compress in addition to the base weight representation?
    • The quantization constants
    • Every task label into a second unrelated category
    • The adapter gradients twice by definition
    • A second complete copy of the base model