Gids-gekoppelde quiz · Middelmatig Niveau

Jamba Hybrid Transformer-Mamba-modellenquiz

Bekijk de originele hybride Jamba-lagen, routering door een mix van experts, terugkerende status, groei van de aandachtscache en werklastspecifieke lange-contextevaluatie.

Vraag 1 van 8

Welke twee typen kernlagen verweeft Jamba?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke twee typen kernlagen verweeft Jamba?
    • Convolutionele en samenvoegende lagen
    • RNN- en CNN-lagen
    • Transformer-aandacht en Mamba-staat-ruimtelagen
    • Diffusie- en aandachtslagen
  2. Welke aanvullende techniek gebruikt Jamba om de capaciteit te vergroten terwijl de actieve parameters laag blijven?
    • Mengsel van deskundigen (MoE)
    • Kennisdistillatie
    • Kwantiseringsbewuste training
    • Versterk het leren van menselijke feedback
  3. Hoe verschilt de terugkerende representatie van een Mamba-laag van de KV-cache van een aandachtslaag?
    • Het verwijdert elke modelparameter uit het geheugen
    • Het slaat alle tokens voorbij de eerste over
    • Het slaat een onafhankelijke volledige kopie op van elke eerdere aandachtsmatrix
    • Het handhaaft een terugkerende status van vaste grootte in plaats van een groeiend aantal sleutels en waarden uit het verleden te behouden
  4. Welk contextvenster ondersteunde het eerste Jamba-model?
    • 4K-tokens
    • 256K-tokens
    • 32K-tokens
    • 8 miljoen tokens
  5. Wat is een reden om aandachtscomponenten vast te houden naast state-space-lagen in een hybride in Jamba-stijl?
    • Om verschillende toegangs- en representatiemechanismen te combineren en tegelijkertijd de afweging tussen kwaliteit en efficiëntie te evalueren
    • Om het perfecte ophalen van elk token bij elke taak te garanderen
    • Om alle aandachtsberekeningen onafhankelijk te maken van de lengte van de reeks
    • Om de noodzaak van modelevaluatie te elimineren
  6. Hoe moet Jamba's gerapporteerde voordeel voor het lange-contextgeheugen worden geëvalueerd voor implementatie?
    • Stel dat elk 256K-verzoek op elke afzonderlijke GPU past
    • Tel alleen de terugkerende status en negeer gewichten en aandachtscache
    • Meet het werkelijke model, de precisie, de batchgrootte, de context en de hardwareconfiguratie
    • Behandel elk hybride model alsof het geen sequentie-statuskosten heeft
  7. Zorgt het gebruik van veel Mamba-lagen in de originele Jamba ervoor dat het sequentiegeheugen van het hele model constant blijft naarmate de invoerlengte toeneemt?
    • Ja; elke hybride aandachtscache heeft een vaste grootte van één token
    • Nee; de behouden aandachtslagen slaan nog steeds een groeiende KV-cache op
    • Ja; modelgewichten verdwijnen zodra de reeks lang wordt
    • Alleen de bestandsgrootte van de tokenizer verandert
  8. Waarom zijn de totale MoE-parameters en actieve parameters per token verschillende hoeveelheden in Jamba?
    • Elke opgeslagen expert wordt noodzakelijkerwijs verwijderd als hij inactief is
    • Een token moet alle experts aansturen, ongeacht de routering
    • De ondersteunde context van het model bepaalt rechtstreeks de grootte van de woordenschat
    • Routing kan voor elk token slechts een subset van opgeslagen experts activeren