Cuestionario vinculado a una guía · Medio Nivel

Prueba de mezcla de profundidades

Pruebe el enrutador de tokens aprendido del MoD, la capacidad top-k fija, la ruta residual para tokens omitidos, las formas estáticas y las salvaguardas de enrutamiento causal.

Rutas de guía relacionadasMezcla de profundidades
Pregunta 1 de 8

¿En qué varía la mezcla de profundidades entre tokens?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿En qué varía la mezcla de profundidades entre tokens?
    • ¿Cuánta computación (qué capas) recibe cada token?
    • El vocabulario utilizado
    • El conjunto de datos de entrenamiento
    • El idioma de salida
  2. ¿Cómo mantiene el Ministerio de Defensa la previsibilidad de su presupuesto informático?
    • Dejando caer aleatoriamente la mitad de los pesos del modelo
    • Procesando una fracción fija de tokens top-k en cada bloque
    • Usando un modelo diferente para cada oración.
    • Al desactivar la atención por completo
  3. ¿Qué sucede con los tokens que el enrutador NO selecciona en un bloque determinado?
    • Se eliminan de la secuencia.
    • Se envían a un modelo aparte.
    • Se saltan el bloque a través de la conexión residual y pasan sin cambios.
    • Se convierten en imágenes.
  4. Which lab published the Mixture of Depths technique?
    • OpenAI en 2019
    • Meta en 2015
    • Microsoft en 2012
    • Google DeepMind en 2024
  5. ¿Qué produce la combinación del Ministerio de Defensa con una mezcla de expertos?
    • MoDE, que enruta tanto en profundidad como en elección de expertos
    • Un modelo sin parámetros
    • Una red convolucional pura
    • Un sistema exclusivo de tokenizador
  6. ¿Por qué se prefiere un top-k fijo a un umbral por token en MoD?
    • Hace que el modelo genere texto aleatorio.
    • Mantiene estáticas las formas tensoriales, lo cual es eficiente en hardware.
    • Elimina la necesidad de formación.
    • Aumenta el tamaño del vocabulario.
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens