Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali ya Utiririshaji wa Kukisia na Utabiri wa Ishara Nyingi

Hukagua mapendekezo ya rasimu, uthibitishaji lengwa, viambishi awali vinavyokubalika, vichwa vya ishara nyingi na kwa nini kiwango cha kukubalika huathiri kasi ya usimbaji.

Njia za mwongozo zinazohusianaUtiririshaji wa Kukisia Na Utabiri wa Tokeni nyingi
Swali 1 ya 8

Kwa nini usimbuaji wa kawaida wa kiotomatiki mara nyingi huwa polepole kwenye GPU?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Kwa nini usimbuaji wa kawaida wa kiotomatiki mara nyingi huwa polepole kwenye GPU?
    • Tokeni zinatolewa moja baada ya nyingine, na kuacha GPU haitumiki kwa kila hatua
    • GPU inaishiwa na kumbukumbu mara moja
    • Ni lazima ijirudie kwenye kila ishara
    • Msamiati ni mdogo sana
  2. 'Mchoraji' hufanya nini katika usimbuaji wa kubahatisha?
    • Inaandika jibu la mwisho peke yake
    • Inapendekeza tokeni kadhaa za baadaye za mgombea kwa bei nafuu
    • Inafuta tokeni za uwezekano mdogo
    • Inapunguza uzito wa mfano
  3. Ubora wa pato huhifadhiwaje katika usimbaji wa kubahatisha?
    • Kwa kuzungusha uwezekano hadi sifuri
    • Kwa kutumia msamiati mkubwa zaidi
    • Kwa uthibitishaji unaokubali tokeni pekee zinazolingana na usambazaji lengwa
    • Kwa kuruka uthibitishaji kabisa
  4. Ni nini kinachotofautisha utabiri wa ishara nyingi wa mtindo wa Medusa na usimbaji wa mapema wa kubahatisha?
    • Inahitaji mifano miwili tofauti kubwa
    • Inafanya kazi tu kwa utengenezaji wa picha
    • Huondoa hitaji la pasi yoyote ya mbele
    • Inaongeza vichwa vya ziada vya utabiri vyepesi ili modeli moja irasimu na kuthibitisha
  5. Kwa nini transfoma inaweza kuthibitisha nafasi nyingi za wagombea karibu kwa bei nafuu kama moja wakati wa kusimbua?
    • Kwa sababu kusimbua kumefungwa kwenye kumbukumbu-bandwidth, sio kukokotoa
    • Kwa sababu inashika mtandao mzima
    • Kwa sababu uthibitishaji unaruka tabaka za umakini
    • Kwa sababu kasi ya saa ya GPU inaongezeka maradufu
  6. Ni nini kimsingi huamua kasi kutoka kwa njia za kubahatisha au za ishara nyingi?
    • Rangi ya GPU
    • Idadi ya wastani ya tokeni zinazokubaliwa kwa kila hatua
    • Urefu wa jina la mfano
    • Ukubwa wa diski
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution