Викторина, связанная с руководством · Средний Уровень

Викторина по слиянию моделей

Узнайте, как можно комбинировать совместимые контрольные точки модели и векторы задач, какие методы слияния меняются и почему каждый результат требует оценки.

Связанные направляющие путиОбъединение моделей
Вопрос 1 из 8

Что в первую очередь объединяет объединение моделей?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что в первую очередь объединяет объединение моделей?
    • Веса (параметры) нескольких моделей
    • Наборы обучающих данных нескольких моделей
    • Выходные прогнозы нескольких моделей во время вывода
    • Аппаратные ускорители, используемые для обучения
  2. «Вектор задачи» лучше всего описать как:
    • Список задач, которые может выполнять модель
    • Разница между весом точно настроенной модели и весом базовой модели.
    • Вектор входных токенов для задачи
    • Градиент, рассчитанный за один шаг обучения
  3. In the described weight-space merging methods, what can be avoided?
    • Evaluation of the merged checkpoint
    • Compatibility requirements between model weights
    • Additional gradient training and access to the original training data
    • Testing the result on intended tasks
  4. How do TIES-Merging and DARE differ in addressing parameter interference?
    • Both use the same sign-voting method and differ only in scale
    • DARE uses prompt engineering while TIES retrains on joint data
    • Both average model outputs instead of changing weights
    • They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
  5. Ключевым предварительным условием успешного объединения двух моделей является то, что они:
    • Имеют одну и ту же архитектуру и обычно происходят от общей базовой модели.
    • Были обучены на идентичных данных
    • Иметь точно такое же количество тренировочных шагов
    • Используйте только тот же размер словаря токенизатора
  6. In task arithmetic, what do coefficients control when combining task vectors?
    • Which tokenizer each checkpoint must use
    • How strongly each parameter-change vector contributes to the merged checkpoint
    • How many training examples are generated
    • Whether an evaluation set is required
  7. What are the three main stages named by TIES-Merging?
    • Tokenize text, infer emotions, and export audio
    • Quantize weights, shard GPUs, and route network packets
    • Trim small changes, elect a sign direction, then merge aligned parameter updates
    • Train a reward model, collect labels, and run PPO
  8. Why should teams evaluate each task after a model merge?
    • Merging guarantees every benchmark improves
    • Evaluation is needed only to calculate the file size
    • A merged model cannot be run without retraining
    • Combining weight updates can create interference or reduce performance on a task