اختبار مرتبط بالدليل · متوسط المستوى

QLoRA واختبار الضبط الدقيق 4 بت

قم بمراجعة قاعدة QLoRA المجمدة ذات 4 بتات، والمحولات ذات الرتبة المنخفضة القابلة للتدريب، وNF4، والتكميم المزدوج، والمحسنات المقسمة إلى صفحات، والتكميم المؤقت.

مسارات الدليل ذات الصلةQlora وضبط دقيق 4 بت
سؤال 1 من 8

ما هي الفكرة الأساسية لتوفير الذاكرة وراء الجزء "4 بت" من QLoRA؟

معاينة كل سؤال8 أسئلة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

  1. ما هي الفكرة الأساسية لتوفير الذاكرة وراء الجزء "4 بت" من QLoRA؟
    • إنه يقيس أوزان النموذج الأساسي المجمد إلى 4 بتات لكل منها
    • يقوم بحذف 75% من طبقات النموذج
    • يقوم بتدريب النموذج في 4 عصور فقط
    • يستخدم 4 وحدات معالجة رسوميات فقط بدلاً من الكثير
  2. أثناء الضبط الدقيق لـ QLoRA، ما هي المعلمات التي يتم تحديثها فعليًا عن طريق نزول التدرج؟
    • جميع الأوزان الأصلية للموديل
    • فقط مصفوفات محول LoRA الصغيرة ذات الرتبة المنخفضة
    • ثوابت التكميم 4 بت
    • مفردات الرمز
  3. ما هو NF4 في سياق QLoRA؟
    • شبكة عصبية مكونة من 4 طبقات
    • خوارزمية محسن جديدة
    • نوع بيانات 4 بت مُحسّن للأوزان الموزعة بشكل طبيعي
    • تنسيق مجموعة GPU ذو 4 عقد
  4. ما هي المشكلة التي يواجهها "أدوات تحسين الصفحات" في عنوان QLoRA؟
    • بطء تنزيل ملفات النماذج عبر الإنترنت
    • الترميز غير الصحيح
    • الإفراط في التجهيز على مجموعات البيانات الصغيرة
    • طفرات خارج الذاكرة أثناء تسلسلات طويلة
  5. متى يتم تحويل أوزان 4 بت مرة أخرى إلى دقة أعلى أثناء التدريب؟
    • في الوقت المناسب أثناء ضرب المصفوفة، ثم يتم التخلص منها
    • لم يتحولوا أبدًا؛ تتم الرياضيات في 4 بت
    • مرة واحدة فقط في بداية التدريب
    • فقط بعد انتهاء التدريب
  6. ماذا أوضحت ورقة QLoRA الأصلية حول الجودة؟
    • الضبط الدقيق لـ 4 بت يتفوق دائمًا على الضبط الدقيق الكامل
    • يمكن أن يؤدي الضبط الدقيق لنموذج 65B على وحدة معالجة رسومات واحدة إلى مطابقة جودة الضبط الدقيق الكاملة لـ 16 بت
    • التكميم يجعل النماذج عديمة الفائدة أقل من 8 بت
    • يمكن ضبط النماذج الصغيرة فقط بهذه الطريقة
  7. What does QLoRA’s double-quantization step compress?
    • المفردات الرمزية
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks