Kwantisering
Kwantisering verkleint een AI-model door de cijfers met een lagere nauwkeurigheid op te slaan, zodat een model dat een datacenter-GPU nodig had, soms op een laptop of telefoon kan draaien.
Overzicht
It is the main trick that makes large language models cheap and fast enough to deploy widely.
Diepe duik
Een neuraal netwerk is meestal een gigantische stapel getallen die gewichten worden genoemd en die normaal gesproken worden opgeslagen als drijvende-kommawaarden van 16 of 32 bits. Kwantisering slaat deze gewichten opnieuw op met minder bits, gewoonlijk 8-bits (INT8) of zelfs 4-bits gehele getallen. Als je van 16-bit naar 4-bit gaat, wordt het geheugen ongeveer verviervoudigd, dus een model met 70 miljard parameters dat ongeveer 140 GB nodig heeft bij 16-bit, past in ongeveer 35 GB bij 4-bit. Kleinere getallen gaan ook sneller door het geheugen, wat meestal het genereren versnelt. Het addertje onder het gras is nauwkeurigheid: het samenpersen van een breed scala aan waarden in een paar niveaus introduceert afrondingsfouten. Goede methoden minimaliseren dat verlies door zorgvuldig schaalfactoren te kiezen en de meest gevoelige gewichten te beschermen, zodat het model zich vrijwel identiek gedraagt terwijl het een fractie van de hulpbronnen gebruikt.
Technisch inzicht
Elke groep gewichten krijgt een schaalfactor die reële waarden afbeeldt op een kleine reeks gehele getallen; terugvermenigvuldigen met de schaal reconstrueert ongeveer het oorspronkelijke getal. Kwantiseringsmethoden na de training, zoals GPTQ en AWQ, analyseren een kleine kalibratiegegevensset om te beslissen welke gewichten het belangrijkst zijn en stellen schalen in om uitvoerfouten te minimaliseren, in plaats van alles blindelings af te ronden. Activeringen worden vaak met een hogere nauwkeurigheid uitgevoerd omdat ze tijdens de runtime meer variëren. Het resultaat is een model dat gehele getallen van 4 bits opslaat, maar de resultaten berekent die extreem dicht bij de versie met volledige precisie liggen.
Strategische impact
Speed and scale
Taalworkflows kunnen sneller verlopen zonder dat dit ten koste gaat van de consistentie.
Access and reach
Het breidt de toegang uit naar meerdere talen en communicatiestijlen.
Clearer decisions
Teams kunnen meer tijd besteden aan beoordeling, terwijl automatisering de herhaling afhandelt.
De toekomst van kwantisering
Verwacht dat kwantisering de standaard wordt in plaats van een optimalisatie. Hardwareleveranciers voegen native 4-bit en zelfs lagere-bit-ondersteuning toe, en technieken zoals kwantiseringsbewuste training zorgen ervoor dat vanaf het begin tolerantie voor lage precisie in het model wordt ingebouwd, waardoor het nauwkeurigheidsverlies verder wordt verminderd. Er wordt onderzoek gedaan naar 2-bits en 1-bits (binaire) representaties, met als doel capabele modellen op telefoons en ingebouwde chips uit te voeren. Naarmate AI op apparaten en privé groeit, zullen efficiënte gekwantiseerde modellen van cruciaal belang zijn om assistenten lokaal te laten draaien zonder gegevens naar de cloud te sturen.
Implementatie in de echte wereld
Een chatmodel zoals Llama lokaal uitvoeren op een consumenten-GPU met behulp van 4-bit GGUF- of GPTQ-bestanden in plaats van dat er meerdere datacenterkaarten nodig zijn.
Assistenten op het apparaat op telefoons, waarbij 8-bits of 4-bits modellen spraak- en tekstfuncties laten werken zonder een netwerkverbinding.
Verlaag de kosten voor cloudinferentie voor een klantondersteuningsbot door een INT8-model te leveren, waardoor meer verzoeken op elke GPU kunnen worden afgestemd.
Edge-apparaten zoals slimme camera's of IoT-sensoren die compacte gekwantiseerde vision-taalmodellen uitvoeren binnen strakke geheugenlimieten.
Risico's en vangrails
Gehallucineerde feiten kunnen stilletjes rapporten binnendringen, stromen ondersteunen of onderzoeksresultaten opleveren.
Gevoeligheid voor prompts kan inconsistente resultaten opleveren voor vergelijkbare verzoeken.
Gevoelige tekstgegevens kunnen openbaar worden gemaakt als de toegangscontroles zwak zijn.
Implementatie routekaart
Definieer het uitvoerformaat, de toon en de kwaliteitsnormen vóór de implementatie.
Grondreacties met vertrouwde bronnen wanneer nauwkeurigheid belangrijk is.
Houd een menselijk controlepunt bij voor resultaten met een hoge inzet.
Houd faalpatronen bij en train prompts of workflows regelmatig opnieuw.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Residuele vectorkwantisering
Frequently asked questions
What is Quantization?
Kwantisering verkleint een AI-model door de cijfers met een lagere nauwkeurigheid op te slaan, zodat een model dat een datacenter-GPU nodig had, soms op een laptop of telefoon kan draaien. Het is de belangrijkste truc die grote taalmodellen goedkoop en snel genoeg maakt om breed inzetbaar te zijn.
Wat verandert kwantisering vooral aan een neuraal netwerk?
Kwantisering slaat de gewichten van het model opnieuw op met een lagere numerieke precisie, zoals 8-bits of 4-bits gehele getallen in plaats van 16- of 32-bits floats.
Hoeveel geheugen wordt er ongeveer bespaard door gewichten van 16-bit naar 4-bit te verplaatsen?
4 bits is een kwart van 16 bits, dus de gewichtsopslag daalt tot ongeveer een kwart, wat ongeveer een verviervoudiging is.
Wat is het belangrijkste nadeel van agressieve kwantisering?
Het weergeven van waarden met minder niveaus introduceert afrondingsfouten, die de uitvoerkwaliteit kunnen verslechteren als ze niet zorgvuldig worden beheerd.
Waarvoor gebruiken methoden als GPTQ en AWQ een kleine kalibratiedataset?
Deze post-trainingsmethoden analyseren enkele voorbeeldinvoer om schaalfactoren in te stellen en gevoelige gewichten te beschermen, waardoor de uitvoer dicht bij het origineel blijft.
Waarom maakt kwantisering een model vaak sneller, en niet alleen kleiner?
Waarden met een lagere nauwkeurigheid vereisen minder geheugenbandbreedte om te laden en te verplaatsen, wat vaak het knelpunt is tijdens het genereren, waardoor de gevolgtrekking sneller gaat.