แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

QLoRA และแบบทดสอบการปรับแต่งแบบละเอียด 4 บิต

ตรวจสอบฐาน 4 บิตที่ค้างของ QLoRA, อะแดปเตอร์ระดับต่ำที่สามารถฝึกได้, NF4, การหาปริมาณสองเท่า, เครื่องมือเพิ่มประสิทธิภาพแบบเพจ และการลดปริมาณชั่วคราว

เส้นทางแนะนำที่เกี่ยวข้องQlora และการปรับแต่งแบบละเอียด 4 บิต
คำถาม 1 ของ 8

แนวคิดหลักในการประหยัดหน่วยความจำเบื้องหลังส่วน '4 บิต' ของ QLoRA คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. แนวคิดหลักในการประหยัดหน่วยความจำเบื้องหลังส่วน '4 บิต' ของ QLoRA คืออะไร
    • โดยจะคำนวณปริมาณน้ำหนักของโมเดลพื้นฐานที่ตรึงไว้เหลือเพียง 4 บิตในแต่ละอัน
    • โดยจะลบเลเยอร์ของโมเดลออกไป 75%
    • มันฝึกโมเดลใน 4 ยุคเท่านั้น
    • ใช้ GPU เพียง 4 ตัวแทนที่จะเป็นหลายตัว
  2. ในระหว่างการปรับแต่ง QLoRA อย่างละเอียด พารามิเตอร์ใดที่ได้รับการอัพเดตตามการไล่ระดับลงจริง ๆ
    • ตุ้มน้ำหนักเดิมของโมเดลทั้งหมด
    • เฉพาะเมทริกซ์อะแดปเตอร์ LoRA ระดับต่ำขนาดเล็กเท่านั้น
    • ค่าคงที่เชิงปริมาณ 4 บิต
    • คำศัพท์ของโทเค็น
  3. NF4 คืออะไรในบริบทของ QLoRA
    • โครงข่ายประสาทเทียม 4 ชั้น
    • อัลกอริธึมเครื่องมือเพิ่มประสิทธิภาพใหม่
    • ประเภทข้อมูล 4 บิตที่ปรับให้เหมาะสมสำหรับน้ำหนักแบบกระจายตามปกติ
    • รูปแบบคลัสเตอร์ GPU 4 โหนด
  4. 'เครื่องมือเพิ่มประสิทธิภาพเพจ' ในที่อยู่ QLoRA มีปัญหาอะไร
    • การดาวน์โหลดไฟล์โมเดลทางอินเทอร์เน็ตช้า
    • โทเค็นไม่ถูกต้อง
    • การติดตั้งมากเกินไปบนชุดข้อมูลขนาดเล็ก
    • หน่วยความจำไม่เพียงพอเพิ่มขึ้นอย่างรวดเร็วในระหว่างลำดับที่ยาว
  5. เมื่อใดที่ตุ้มน้ำหนัก 4 บิตจะถูกแปลงกลับไปให้มีความแม่นยำสูงกว่าในระหว่างการฝึกซ้อม
    • ทันเวลาระหว่างการคูณเมทริกซ์ แล้วละทิ้ง
    • พวกเขาไม่เคยกลับใจใหม่ คณิตศาสตร์เสร็จใน 4 บิต
    • เพียงครั้งเดียวในช่วงเริ่มต้นการฝึกอบรม
    • หลังจากการฝึกอบรมเสร็จสิ้นเท่านั้น
  6. เอกสารต้นฉบับของ QLoRA แสดงให้เห็นอะไรเกี่ยวกับคุณภาพ
    • การปรับแต่งแบบละเอียด 4 บิตจะเหนือกว่าการปรับแต่งแบบเต็มเสมอ
    • การปรับแต่งรุ่น 65B อย่างละเอียดบน GPU ตัวเดียวอาจตรงกับคุณภาพการปรับแต่งแบบละเอียด 16 บิตเต็มรูปแบบ
    • การหาปริมาณทำให้โมเดลไม่มีประโยชน์ต่ำกว่า 8 บิต
    • มีเพียงรุ่นเล็กๆ เท่านั้นที่สามารถปรับแต่งได้ด้วยวิธีนี้
  7. What does QLoRA’s double-quantization step compress?
    • คำศัพท์โทเค็น
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks