Quiz połączony z przewodnikiem · Średni Poziom
Quiz dotyczący mieszaniny głębin
Przetestuj wyuczony router tokenów MoD, stałą pojemność top-k, ścieżkę resztkową dla pominiętych tokenów, kształty statyczne i zabezpieczenia routingu przyczynowego.
Pytanie 1 z 8
Czym różni się Mieszanka Głębi w zależności od tokenów?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Czym różni się Mieszanka Głębi w zależności od tokenów?
- Ile obliczeń (które warstwy) otrzymuje każdy token
- Używane słownictwo
- Zestaw danych szkoleniowych
- Język wyjściowy
- W jaki sposób Ministerstwo Obrony utrzymuje przewidywalny budżet obliczeniowy?
- Przez losowe upuszczenie połowy ciężaru modelu
- Przetwarzając stałą część górnego k tokenów w każdym bloku
- Używając innego modelu dla każdego zdania
- Całkowicie wyłączając uwagę
- Co dzieje się z tokenami, których router NIE wybiera w danym bloku?
- Są usuwane z sekwencji
- Są wysyłane do osobnego modelu
- Pomijają blok poprzez połączenie resztkowe, przechodząc bez zmian
- Są konwertowane na obrazy
- Which lab published the Mixture of Depths technique?
- OpenAI w 2019 r
- Meta w 2015 r
- Microsoft w 2012 r
- Google DeepMind w 2024 r
- Co daje połączenie Ministerstwa Obrony z mieszanką ekspertów?
- MoDE, który wyznacza trasy zarówno na podstawie głębokości, jak i fachowego wyboru
- Model bez parametrów
- Czysta sieć splotowa
- System wyłącznie tokenizujący
- Dlaczego w MoD preferowane jest stałe górne k zamiast progu na token?
- Powoduje to, że model generuje losowy tekst
- Utrzymuje statyczne kształty tensora, co jest wydajne na sprzęcie
- Eliminuje potrzebę szkolenia
- Zwiększa objętość słownictwa
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens