แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
QLoRA และแบบทดสอบการปรับแต่งแบบละเอียด 4 บิต
ตรวจสอบฐาน 4 บิตที่ค้างของ QLoRA, อะแดปเตอร์ระดับต่ำที่สามารถฝึกได้, NF4, การหาปริมาณสองเท่า, เครื่องมือเพิ่มประสิทธิภาพแบบเพจ และการลดปริมาณชั่วคราว
คำถาม 1 ของ 8
แนวคิดหลักในการประหยัดหน่วยความจำเบื้องหลังส่วน '4 บิต' ของ QLoRA คืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- แนวคิดหลักในการประหยัดหน่วยความจำเบื้องหลังส่วน '4 บิต' ของ QLoRA คืออะไร
- โดยจะคำนวณปริมาณน้ำหนักของโมเดลพื้นฐานที่ตรึงไว้เหลือเพียง 4 บิตในแต่ละอัน
- โดยจะลบเลเยอร์ของโมเดลออกไป 75%
- มันฝึกโมเดลใน 4 ยุคเท่านั้น
- ใช้ GPU เพียง 4 ตัวแทนที่จะเป็นหลายตัว
- ในระหว่างการปรับแต่ง QLoRA อย่างละเอียด พารามิเตอร์ใดที่ได้รับการอัพเดตตามการไล่ระดับลงจริง ๆ
- ตุ้มน้ำหนักเดิมของโมเดลทั้งหมด
- เฉพาะเมทริกซ์อะแดปเตอร์ LoRA ระดับต่ำขนาดเล็กเท่านั้น
- ค่าคงที่เชิงปริมาณ 4 บิต
- คำศัพท์ของโทเค็น
- NF4 คืออะไรในบริบทของ QLoRA
- โครงข่ายประสาทเทียม 4 ชั้น
- อัลกอริธึมเครื่องมือเพิ่มประสิทธิภาพใหม่
- ประเภทข้อมูล 4 บิตที่ปรับให้เหมาะสมสำหรับน้ำหนักแบบกระจายตามปกติ
- รูปแบบคลัสเตอร์ GPU 4 โหนด
- 'เครื่องมือเพิ่มประสิทธิภาพเพจ' ในที่อยู่ QLoRA มีปัญหาอะไร
- การดาวน์โหลดไฟล์โมเดลทางอินเทอร์เน็ตช้า
- โทเค็นไม่ถูกต้อง
- การติดตั้งมากเกินไปบนชุดข้อมูลขนาดเล็ก
- หน่วยความจำไม่เพียงพอเพิ่มขึ้นอย่างรวดเร็วในระหว่างลำดับที่ยาว
- เมื่อใดที่ตุ้มน้ำหนัก 4 บิตจะถูกแปลงกลับไปให้มีความแม่นยำสูงกว่าในระหว่างการฝึกซ้อม
- ทันเวลาระหว่างการคูณเมทริกซ์ แล้วละทิ้ง
- พวกเขาไม่เคยกลับใจใหม่ คณิตศาสตร์เสร็จใน 4 บิต
- เพียงครั้งเดียวในช่วงเริ่มต้นการฝึกอบรม
- หลังจากการฝึกอบรมเสร็จสิ้นเท่านั้น
- เอกสารต้นฉบับของ QLoRA แสดงให้เห็นอะไรเกี่ยวกับคุณภาพ
- การปรับแต่งแบบละเอียด 4 บิตจะเหนือกว่าการปรับแต่งแบบเต็มเสมอ
- การปรับแต่งรุ่น 65B อย่างละเอียดบน GPU ตัวเดียวอาจตรงกับคุณภาพการปรับแต่งแบบละเอียด 16 บิตเต็มรูปแบบ
- การหาปริมาณทำให้โมเดลไม่มีประโยชน์ต่ำกว่า 8 บิต
- มีเพียงรุ่นเล็กๆ เท่านั้นที่สามารถปรับแต่งได้ด้วยวิธีนี้
- What does QLoRA’s double-quantization step compress?
- คำศัพท์โทเค็น
- The LoRA adapter rank
- The quantization constants used to represent the 4-bit weights
- The training examples’ text labels
- How can one QLoRA base model support multiple task-specific versions?
- They delete the optimizer state after every token
- They increase the base model from 4-bit to 32-bit
- They move all activations into the tokenizer
- Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks