Quiz dotyczący agregacji mieszanin agentów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest rola modelu agregatora w przypadku Mixture-of-Agents?
   • Syntetyzowanie odpowiedzi modeli proponujących w jedną ulepszoną odpowiedź
   • Aby usunąć losowo wszystkie wersje robocze oprócz jednej
   • Aby przetłumaczyć monit na kod
   • Aby wyszkolić modele proponujące
2. Na jakiej kluczowej właściwości LLM opiera się dokument MoA?
   • Że LLM nie mogą czytać wyników innych modeli
   • Że LLM dają lepsze odpowiedzi, gdy pokazuje się im odpowiedzi rówieśników („współpraca”)
   • Że LLM zawsze się zgadzają
   • Że większe modele są niepotrzebne
3. Czym różni się MoA od głosowania zwykłą większością głosów?
   • Wybiera najczęstszą odpowiedź dosłownie
   • Wykorzystuje tylko jeden model
   • Agregator odczytuje wszystkie wersje robocze jako kontekst i generuje nową syntezę
   • Całkowicie ignoruje wnioskodawców
4. Dlaczego różnorodność modeli wnioskodawców jest cenna w MoA?
   • Gwarantuje identyczne wyniki
   • Zmniejsza liczbę warstw do zera
   • To sprawia, że wszystkie odpowiedzi są błędne
   • Różne rodziny modeli wnoszą uzupełniające się mocne strony, które agregator może połączyć
5. Jaki jest główny koszt praktyczny podejścia przyjętego w ramach MoA?
   • Wyższe opóźnienia i moc obliczeniowa, ponieważ każda warstwa mnoży wywołania modelu
   • To w ogóle nie wymaga wnioskowania
   • Może wyprowadzić tylko jedno słowo
   • Usuwa oryginalny monit
6. Co doniesiono w artykule MoA na temat modeli open source w AlpacaEval 2.0?
   • Nie udało im się przeprowadzić benchmarku
   • MoA otwartych modeli przekroczyło wynik GPT-4 Omni
   • Modele otwarte zawsze osiągały zero
   • Testowano jedynie modele zamknięte
7. What information is given to an agent in a later Mixture-of-Agents layer?
   • Only the original prompt with all earlier drafts removed
   • Only a majority-vote label
   • The outputs produced by agents in the preceding layer
   • A gradient update from each previous model
8. What is the purpose of placing several proposer models in the first MoA layer?
   • Train a shared base model from scratch
   • Choose one response by majority vote and discard the rest
   • Compress all outputs into a single token
   • Create a set of candidate responses for later agents and the aggregator to use