Prueba de agregación de mezcla de agentes

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. En la mezcla de agentes, ¿cuál es el papel del modelo agregador?
   • Sintetizar las respuestas de los modelos proponentes en una única respuesta mejorada.
   • Para eliminar todos los borradores menos uno al azar
   • Para traducir el mensaje a código
   • Para entrenar los modelos proponentes.
2. ¿En qué propiedad clave de los LLM se basa el documento del MoA?
   • Que los LLM no pueden leer los resultados de otros modelos
   • Que los LLM producen mejores respuestas cuando se les muestran las respuestas de sus compañeros ("colaboratividad")
   • Que los LLM siempre están de acuerdo
   • Que los modelos más grandes son innecesarios
3. ¿En qué se diferencia el MoA de la votación por mayoría simple?
   • Elige la respuesta más común palabra por palabra.
   • Utiliza un solo modelo.
   • El agregador lee todos los borradores como contexto y genera una nueva síntesis.
   • Ignora por completo a los proponentes.
4. ¿Por qué es valiosa la diversidad entre los modelos de proponentes en el MoA?
   • Garantiza resultados idénticos
   • Reduce el número de capas a cero.
   • Hace que todas las respuestas sean incorrectas
   • Diferentes familias de modelos aportan fortalezas complementarias que el agregador puede combinar
5. ¿Cuál es el principal costo práctico del enfoque MoA?
   • Mayor latencia y computación, ya que cada capa multiplica las llamadas al modelo.
   • No requiere ninguna inferencia en absoluto.
   • Solo puede generar una sola palabra.
   • Elimina el mensaje original.
6. ¿Qué informó el documento del MoA sobre los modelos de código abierto en AlpacaEval 2.0?
   • No pudieron ejecutar el punto de referencia.
   • Un MoA de modelos abiertos superó la puntuación de GPT-4 Omni
   • Los modelos abiertos siempre obtuvieron una puntuación de cero
   • Sólo se probaron modelos cerrados.
7. What information is given to an agent in a later Mixture-of-Agents layer?
   • Only the original prompt with all earlier drafts removed
   • Only a majority-vote label
   • The outputs produced by agents in the preceding layer
   • A gradient update from each previous model
8. What is the purpose of placing several proposer models in the first MoA layer?
   • Train a shared base model from scratch
   • Choose one response by majority vote and discard the rest
   • Compress all outputs into a single token
   • Create a set of candidate responses for later agents and the aggregator to use