ต่อไปคำแนะนำต่อไป
การปรับแต่งแบบละเอียดเทียบกับ RAG เทียบกับการพร้อมท์
ภาษาเอไอ
คู่มือ AI ภาษา
QLoRA เป็นเทคนิคที่ช่วยให้คุณปรับแต่งโมเดลภาษาขนาดใหญ่บน GPU สำหรับผู้ใช้ทั่วไปเพียงรายเดียว โดยจัดเก็บโมเดลที่แช่แข็งไว้เพียง 4 บิตต่อน้ำหนัก
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It made customizing 65B-parameter models possible on hardware that previously could only handle models a fraction of that size.
โดยปกติแล้ว การปรับแต่งโมเดลขนาดใหญ่อย่างละเอียดหมายถึงการโหลดทุกน้ำหนักด้วยความแม่นยำ 16 บิต และอัปเดตน้ำหนักทั้งหมดซึ่งต้องใช้หน่วยความจำมหาศาล QLoRA ผสมผสานสองแนวคิดเข้าด้วยกัน ขั้นแรก มันจะหยุดโมเดลที่ฝึกไว้ล่วงหน้าแล้วลดขนาดลงเหลือ 4 บิต เฉือนหน่วยความจำประมาณสี่เท่า ประการที่สอง ใช้ LoRA: แทนที่จะอัปเดตเมทริกซ์น้ำหนักขนาดยักษ์ แต่จะอัดเมทริกซ์อะแดปเตอร์ระดับต่ำที่สามารถฝึกได้ขนาดเล็กไว้ข้างๆ จึงมีการอัปเดตพารามิเตอร์เพียงไม่กี่ล้านตัวเท่านั้น ฐาน 4 บิตยังคงอยู่ในขณะที่การไล่ระดับสีไหลผ่านอะแดปเตอร์ขนาดเล็กเท่านั้น QLoRA เปิดตัวในปี 2023 โดย Dettmers และเพื่อนร่วมงาน แสดงให้เห็นว่าการปรับแต่งรุ่น 65B บน GPU 48GB หนึ่งตัวอาจตรงกับคุณภาพของการปรับแต่งแบบละเอียด 16 บิตเต็มรูปแบบ
สตาร์ทอัพปรับแต่งโมเดล 70B Llama บน GPU 48GB ตัวเดียว เพื่อสร้างผู้ช่วยสนับสนุนลูกค้าตามเสียงของแบรนด์ของตัวเอง โดยไม่ต้องเช่าคลัสเตอร์เซิร์ฟเวอร์
นักวิจัยที่มี RTX 4090 สำหรับผู้บริโภคเพียงรายเดียวปรับโมเดลแบบเปิดให้เข้ากับชุดข้อมูลตอบคำถามทางการแพทย์เฉพาะกลุ่มในชั่วข้ามคืน
นักพัฒนาสร้างอะแดปเตอร์ LoRA ขนาดเล็กที่ถอดเปลี่ยนได้หลายสิบตัวสำหรับงานที่แตกต่างกัน โดยทั้งหมดนี้ใช้โมเดลพื้นฐาน 4 บิตตัวเดียวที่โหลดในหน่วยความจำ
ผู้ที่ชื่นชอบงานอดิเรกปรับแต่งโมเดลในบันทึกการแชทส่วนตัวเพื่อเลียนแบบสไตล์การเขียนโดยเฉพาะโดยใช้ฮาร์ดแวร์เกรด Colab ฟรี
การปรับแต่งแบบละเอียด 4 บิตกลายเป็นแนวทางปฏิบัติมาตรฐาน และปัจจุบันการวิจัยมุ่งไปสู่ความแม่นยำที่ต่ำลง รวมถึงการแสดงแบบ 2 บิตและ 1 บิต (แบบไตรภาค) รูปแบบการหาปริมาณที่ใหม่กว่า เช่น AWQ, GPTQ และ HQQ ปรับแต่งความแม่นยำเพิ่มเติม ในขณะที่เทคนิค เช่น QA-LoRA มุ่งหวังที่จะรักษาแบบจำลองเชิงปริมาณไว้ แม้ว่าจะรวมอะแดปเตอร์แล้วก็ตาม เมื่อโมเดล open-weight เติบโตขึ้น คาดหวังว่าเครื่องมือจะช่วยให้มือสมัครเล่นปรับแต่งโมเดล 70B-plus บน GPU สำหรับเล่นเกมตัวเดียวให้กลายเป็นกิจวัตรและปรับแต่งได้ตามใจชอบ
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
QLoRA เป็นเทคนิคที่ช่วยให้คุณปรับแต่งโมเดลภาษาขนาดใหญ่บน GPU สำหรับผู้ใช้ทั่วไปเพียงรายเดียว โดยจัดเก็บโมเดลที่แช่แข็งไว้เพียง 4 บิตต่อน้ำหนัก ทำให้การปรับแต่งโมเดลพารามิเตอร์ 65B เป็นไปได้บนฮาร์ดแวร์ที่ก่อนหน้านี้สามารถรองรับโมเดลได้เพียงเศษเสี้ยวของขนาดนั้นเท่านั้น
QLoRA จัดเก็บตุ้มน้ำหนักที่ฝึกไว้ล่วงหน้าแบบแช่แข็งไว้ที่ 4 บิตต่อค่า ซึ่งจะตัดหน่วยความจำประมาณสี่เท่าเมื่อเทียบกับ 16 บิต
โมเดลพื้นฐานถูกแช่แข็ง เฉพาะเมทริกซ์อะแดปเตอร์ระดับต่ำที่ถูกแทรกเท่านั้นที่จะได้รับการอัปเดตการไล่ระดับสี ซึ่งเป็นเพียงส่วนเล็กๆ ของพารามิเตอร์
NF4 (NormalFloat 4 บิต) เป็นประเภทข้อมูลที่ออกแบบมาเพื่อการกระจายน้ำหนักของโครงข่ายประสาทเทียมด้วยเส้นโค้งระฆัง เพื่อความแม่นยำที่ดีกว่า int4 ธรรมดา
Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.
During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การปรับแต่งแบบละเอียดเทียบกับ RAG เทียบกับการพร้อมท์
ภาษาเอไอ