Maswali yanayounganishwa na mwongozo · Kati Kiwango

GPTQ na Maswali ya Kuhesabu Baada ya Mafunzo ya AWQ

Hukagua tofauti kati ya GPTQ na AWQ, data ya urekebishaji, fidia ya curvature, chaneli zinazotambua kuwezesha na kumbukumbu ya chini kidogo.

Njia za mwongozo zinazohusianaGptq Na Awq Post Mafunzo Quantization
Swali 1 ya 8

Je, 'idadi ya baada ya mafunzo' inamaanisha nini?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, 'idadi ya baada ya mafunzo' inamaanisha nini?
    • Kufinyiza uzani wa modeli ambayo tayari imefunzwa ili kupunguza usahihi bila kujizoeza tena kamili
    • Kuunda tena mfano kwa usahihi wa chini
    • Kuongeza data zaidi ya mafunzo baada ya kupelekwa
    • Kuongeza hesabu ya parameta ya mfano
  2. Je, GPTQ hutumia taarifa gani kufidia makosa ya kuzungusha wakati wa kuhesabu?
    • Orodha ya msamiati wa mfano
    • Taarifa ya mpangilio wa pili (Hessian/curvature) kutoka kwa mkusanyiko wa data wa urekebishaji
    • Historia ya haraka ya mtumiaji
    • Kelele za nasibu
  3. Je, ni maarifa gani muhimu yanayosukuma AWQ (Ukadiriaji wa Uzito unaotambua Uwezeshaji)?
    • Uzito wote ni muhimu sawa
    • Uamilisho unapaswa kuhesabiwa lakini uzani uachwe bila kuguswa
    • Sehemu ndogo ya njia za uzito ni muhimu sana na inapaswa kulindwa
    • Ukadiriaji unapaswa kutokea wakati wa mafunzo ya mapema tu
  4. Takriban ni kiasi gani cha kumbukumbu ambacho 4-bit quantization huokoa dhidi ya uzani wa 16-bit?
    • Hakuna akiba
    • Karibu kumbukumbu mara mbili
    • Hasa nusu ya kumbukumbu
    • Karibu robo moja ya kumbukumbu (kupunguzwa kwa 4x)
  5. Kwa nini GPTQ na AWQ zote mbili kwa kawaida hupima uzani lakini huweka uwezeshaji kwa usahihi wa juu zaidi?
    • Uzito hutawala kumbukumbu, na ukadiriaji mkali wa kuwezesha huelekea kuumiza usahihi zaidi.
    • Uamilisho haupo katika transfoma
    • Uamilisho tayari ni 1-bit
    • Inatakiwa na sheria
  6. Ni zana gani inayotumika sana kuendesha mifano iliyokadiriwa ndani ya nchi kwenye maunzi ya watumiaji?
    • Neno la Microsoft
    • llama.cpp
    • Programu ya lahajedwali
    • Kivinjari pekee
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve