Kvíz spojený s průvodcem · Střední úroveň
Kvíz kvantifikace modelu
Použijte kvantované úložiště, faktory měřítka a kompromisy přesnosti, včetně toho, proč snížení hrubé hmotnosti nezaručuje úplné přizpůsobení modelu nebo rychlost.
Otázka 1 z 8
Co hlavně redukuje kvantizace modelu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co hlavně redukuje kvantizace modelu?
- Numerická přesnost používaná k ukládání vah a aktivací
- Počet vrstev v síti
- Tréninkový datový soubor, na kterém byl model postaven
- Jazyk, kterému model rozumí
- Bez ohledu na metadatový měřítko a další běhové tenzory, jaký je poměr váhy k payloadu při přechodu z šestnáctibitových na čtyřibitové váhy?
- Payload zůstává nezměněn
- Je to jedna setina původního payloadu
- Čtyřibitový payload je čtvrtina šestnáctibitového payloadu
- Payload se stává čtyřikrát větší
- Jaká je hlavní nevýhoda agresivní nízkobitové kvantizace?
- Model zapomene svůj tréninkový jazyk
- Potenciální ztráta přesnosti, protože hodnoty jsou vtěsnány do menšího počtu segmentů
- Může běžet pouze na superpočítačích
- Trvale odstraní vrstvy
- Jak se liší trénování s vědomím kvantizace od kvantizace po trénování?
- Nevyžaduje vůbec žádná data
- Funguje pouze na obrázky
- Postupem času zvyšuje počet bitů
- Simuluje zaoblení během tréninku, takže se model naučí tolerovat nízkou přesnost
- Která technika využívá 4bitovou kvantizaci, aby bylo doladění velkých modelů dostupné na jednom GPU?
- Výpadek
- Dávková normalizace
- QLoRA
- Tokenizace
- Proč škálování na kanál nebo na skupinu pomáhá kvantovaným modelům?
- Pro zachování přesnosti přiřazuje řezům matice váhy samostatné faktory měřítka
- Odstraňuje potřebu jakýchkoli závaží
- Díky tomu je model větší
- Převádí text na zvuk
- Hrubé váhy čtyřibitového modelu se vejdou do dostupné VRAM, ale při servisu selhává kvůli nedostatku paměti. Co by to mohlo vysvětlit?
- Každá čtyřibitová váha trvale roste na jeden gigabajt
- Kvantizace zaručuje žádné běhové alokace
- Pouze název souboru modelu spotřebovává zbývající paměť
- Mezipaměti, škály, nekvantizované tensory nebo pracovní prostor vyžadují další paměť
- Tým kvantizuje na INT8, ale nevidí žádné zrychlení inference. Co by měl zkontrolovat?
- Zda jsou tréninková data seřazena abecedně
- Zda pracovní zátěž používá efektivní podporované jádra na svém hardwaru
- Zda nižší šířka bitu vždy zaručuje rychlejší provedení
- Zda se model musel změnit na jiný jazyk