Gids-gekoppelde quiz · Middelmatig Niveau
Jamba Hybrid Transformer-Mamba-modellenquiz
Bekijk de originele hybride Jamba-lagen, routering door een mix van experts, terugkerende status, groei van de aandachtscache en werklastspecifieke lange-contextevaluatie.
Vraag 1 van 8
Welke twee typen kernlagen verweeft Jamba?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke twee typen kernlagen verweeft Jamba?
- Convolutionele en samenvoegende lagen
- RNN- en CNN-lagen
- Transformer-aandacht en Mamba-staat-ruimtelagen
- Diffusie- en aandachtslagen
- Welke aanvullende techniek gebruikt Jamba om de capaciteit te vergroten terwijl de actieve parameters laag blijven?
- Mengsel van deskundigen (MoE)
- Kennisdistillatie
- Kwantiseringsbewuste training
- Versterk het leren van menselijke feedback
- Hoe verschilt de terugkerende representatie van een Mamba-laag van de KV-cache van een aandachtslaag?
- Het verwijdert elke modelparameter uit het geheugen
- Het slaat alle tokens voorbij de eerste over
- Het slaat een onafhankelijke volledige kopie op van elke eerdere aandachtsmatrix
- Het handhaaft een terugkerende status van vaste grootte in plaats van een groeiend aantal sleutels en waarden uit het verleden te behouden
- Welk contextvenster ondersteunde het eerste Jamba-model?
- 4K-tokens
- 256K-tokens
- 32K-tokens
- 8 miljoen tokens
- Wat is een reden om aandachtscomponenten vast te houden naast state-space-lagen in een hybride in Jamba-stijl?
- Om verschillende toegangs- en representatiemechanismen te combineren en tegelijkertijd de afweging tussen kwaliteit en efficiëntie te evalueren
- Om het perfecte ophalen van elk token bij elke taak te garanderen
- Om alle aandachtsberekeningen onafhankelijk te maken van de lengte van de reeks
- Om de noodzaak van modelevaluatie te elimineren
- Hoe moet Jamba's gerapporteerde voordeel voor het lange-contextgeheugen worden geëvalueerd voor implementatie?
- Stel dat elk 256K-verzoek op elke afzonderlijke GPU past
- Tel alleen de terugkerende status en negeer gewichten en aandachtscache
- Meet het werkelijke model, de precisie, de batchgrootte, de context en de hardwareconfiguratie
- Behandel elk hybride model alsof het geen sequentie-statuskosten heeft
- Zorgt het gebruik van veel Mamba-lagen in de originele Jamba ervoor dat het sequentiegeheugen van het hele model constant blijft naarmate de invoerlengte toeneemt?
- Ja; elke hybride aandachtscache heeft een vaste grootte van één token
- Nee; de behouden aandachtslagen slaan nog steeds een groeiende KV-cache op
- Ja; modelgewichten verdwijnen zodra de reeks lang wordt
- Alleen de bestandsgrootte van de tokenizer verandert
- Waarom zijn de totale MoE-parameters en actieve parameters per token verschillende hoeveelheden in Jamba?
- Elke opgeslagen expert wordt noodzakelijkerwijs verwijderd als hij inactief is
- Een token moet alle experts aansturen, ongeacht de routering
- De ondersteunde context van het model bepaalt rechtstreeks de grootte van de woordenschat
- Routing kan voor elk token slechts een subset van opgeslagen experts activeren