Kvíz spojený s průvodcem · Střední úroveň

Kvíz kvantifikace modelu

Použijte kvantované úložiště, faktory měřítka a kompromisy přesnosti, včetně toho, proč snížení hrubé hmotnosti nezaručuje úplné přizpůsobení modelu nebo rychlost.

Související vodicí cestyKvantování modelu
Otázka 1 z 8

Co hlavně redukuje kvantizace modelu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co hlavně redukuje kvantizace modelu?
    • Numerická přesnost používaná k ukládání vah a aktivací
    • Počet vrstev v síti
    • Tréninkový datový soubor, na kterém byl model postaven
    • Jazyk, kterému model rozumí
  2. Bez ohledu na metadatový měřítko a další běhové tenzory, jaký je poměr váhy k payloadu při přechodu z šestnáctibitových na čtyřibitové váhy?
    • Payload zůstává nezměněn
    • Je to jedna setina původního payloadu
    • Čtyřibitový payload je čtvrtina šestnáctibitového payloadu
    • Payload se stává čtyřikrát větší
  3. Jaká je hlavní nevýhoda agresivní nízkobitové kvantizace?
    • Model zapomene svůj tréninkový jazyk
    • Potenciální ztráta přesnosti, protože hodnoty jsou vtěsnány do menšího počtu segmentů
    • Může běžet pouze na superpočítačích
    • Trvale odstraní vrstvy
  4. Jak se liší trénování s vědomím kvantizace od kvantizace po trénování?
    • Nevyžaduje vůbec žádná data
    • Funguje pouze na obrázky
    • Postupem času zvyšuje počet bitů
    • Simuluje zaoblení během tréninku, takže se model naučí tolerovat nízkou přesnost
  5. Která technika využívá 4bitovou kvantizaci, aby bylo doladění velkých modelů dostupné na jednom GPU?
    • Výpadek
    • Dávková normalizace
    • QLoRA
    • Tokenizace
  6. Proč škálování na kanál nebo na skupinu pomáhá kvantovaným modelům?
    • Pro zachování přesnosti přiřazuje řezům matice váhy samostatné faktory měřítka
    • Odstraňuje potřebu jakýchkoli závaží
    • Díky tomu je model větší
    • Převádí text na zvuk
  7. Hrubé váhy čtyřibitového modelu se vejdou do dostupné VRAM, ale při servisu selhává kvůli nedostatku paměti. Co by to mohlo vysvětlit?
    • Každá čtyřibitová váha trvale roste na jeden gigabajt
    • Kvantizace zaručuje žádné běhové alokace
    • Pouze název souboru modelu spotřebovává zbývající paměť
    • Mezipaměti, škály, nekvantizované tensory nebo pracovní prostor vyžadují další paměť
  8. Tým kvantizuje na INT8, ale nevidí žádné zrychlení inference. Co by měl zkontrolovat?
    • Zda jsou tréninková data seřazena abecedně
    • Zda pracovní zátěž používá efektivní podporované jádra na svém hardwaru
    • Zda nižší šířka bitu vždy zaručuje rychlejší provedení
    • Zda se model musel změnit na jiný jazyk