Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor gestructureerd snoeien en lagen laten vallen

Controleert waarom gestructureerde snoeisnelheden tot gevolg hebben, hoe het belang van lagen wordt geschat en hoe fijnafstemming of destillatie de kwaliteit herstelt.

Vraag 1 van 8

Waarom levert gestructureerd snoeien echte versnellingen op, terwijl ongestructureerd snoeien dat vaak niet doet?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarom levert gestructureerd snoeien echte versnellingen op, terwijl ongestructureerd snoeien dat vaak niet doet?
    • Gestructureerd snoeien verwijdert samenhangende blokken die de tensoren feitelijk verkleinen
    • Ongestructureerd snoeien vergroot de modelgrootte
    • Gestructureerd snoeien voegt meer lagen toe
    • Ongestructureerd snoeien werkt alleen op CPU's
  2. Wat is 'layerdropping' in de context van transformatoren?
    • Verlaging van de leersnelheid per laag
    • Volledige transformatorblokken verwijderen om de modeldiepte te verkleinen
    • Drop-out toevoegen aan elke laag
    • De lagen willekeurig opnieuw ordenen
  3. Welk signaal geeft doorgaans aan dat een transformatorlaag veilig kan worden verwijderd?
    • De laag heeft de meeste parameters
    • De laag is de eerste in het netwerk
    • De verborgen invoer- en uitvoerstatussen van de laag lijken erg op elkaar
    • De laag gebruikt het meeste geheugen
  4. Welke stap herstelt doorgaans de nauwkeurigheid na gestructureerd snoeien?
    • Alleen de batchgrootte vergroten
    • Opnieuw kwantiseren tot 16 bits
    • Meer aandachtshoofden toevoegen
    • Een korte ronde van verfijning of kennisdestillatie
  5. Hoe worden individuele aandachtshoofden vaak gerangschikt op het gebied van snoeien?
    • Door de toename van het verlies wanneer het hoofd wordt gemaskeerd (gevoeligheid)
    • Op alfabetische volgorde
    • Door hun positie in de woordenschat
    • Aan de hand van het aantal tokens dat ze hebben gezien
  6. Wat is een belangrijk praktisch gebruik van gestructureerd snoeien in combinatie met destillatie?
    • Automatisch genereren van trainingsgegevens
    • Een familie van kleinere, snellere modellen afleiden uit één groot controlepunt
    • Modelgewichten coderen
    • Het vergroten van de lengte van het contextvenster
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping