Cuestionario vinculado a una guía · Medio Nivel

Prueba de fusión de modelos

Explore cómo se pueden combinar puntos de control de modelos compatibles y vectores de tareas, qué métodos de combinación cambian y por qué es necesario evaluar cada resultado.

Rutas de guía relacionadasFusión de modelos
Pregunta 1 de 8

¿Qué combina principalmente la fusión de modelos?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué combina principalmente la fusión de modelos?
    • Los pesos (parámetros) de múltiples modelos.
    • Los conjuntos de datos de entrenamiento de múltiples modelos.
    • Las predicciones de salida de múltiples modelos en el momento de la inferencia.
    • Los aceleradores de hardware utilizados para la formación.
  2. Un 'vector de tarea' se describe mejor como:
    • La lista de tareas que un modelo puede realizar.
    • La diferencia entre los pesos de un modelo ajustado y los pesos de su modelo base
    • Un vector de tokens de entrada para una tarea.
    • El gradiente calculado durante un solo paso de entrenamiento.
  3. In the described weight-space merging methods, what can be avoided?
    • Evaluation of the merged checkpoint
    • Compatibility requirements between model weights
    • Additional gradient training and access to the original training data
    • Testing the result on intended tasks
  4. How do TIES-Merging and DARE differ in addressing parameter interference?
    • Both use the same sign-voting method and differ only in scale
    • DARE uses prompt engineering while TIES retrains on joint data
    • Both average model outputs instead of changing weights
    • They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
  5. Una condición previa clave para que dos modelos se fusionen con éxito es que:
    • Comparten la misma arquitectura y normalmente descienden de un modelo base común.
    • Fueron entrenados con datos idénticos.
    • Tener exactamente el mismo número de pasos de entrenamiento.
    • Utilice únicamente el mismo tamaño de vocabulario del tokenizador
  6. In task arithmetic, what do coefficients control when combining task vectors?
    • Which tokenizer each checkpoint must use
    • How strongly each parameter-change vector contributes to the merged checkpoint
    • How many training examples are generated
    • Whether an evaluation set is required
  7. What are the three main stages named by TIES-Merging?
    • Tokenize text, infer emotions, and export audio
    • Quantize weights, shard GPUs, and route network packets
    • Trim small changes, elect a sign direction, then merge aligned parameter updates
    • Train a reward model, collect labels, and run PPO
  8. Why should teams evaluate each task after a model merge?
    • Merging guarantees every benchmark improves
    • Evaluation is needed only to calculate the file size
    • A merged model cannot be run without retraining
    • Combining weight updates can create interference or reduce performance on a task