Kedis ku xidhan hagaha · Adag Heerka

Feejignaanta Tooska ah iyo Kernels Kernels Kernel-ka Sameeyaha

Waxay hubisaa qiimaha isku xigxiga ee dareenka softmax, dib u habeynta wada shaqaynta, FAVOR+ qiyaasta kernel, sifooyinka random iyo kakanaanta toosan.

Wadooyinka haga ee la xidhiidhaFeejignaan toosan iyo Kernels hawl wadeen
Su'aal 1 ee 8

Waa maxay sababta feejignaanta softmax-ga caadiga ahi u liidato dhererka isku xigxiga?

Horudhac su'aal kasta8 su'aalo

Jawaabaha iyo sharraxaadaha waxay soo baxayaan markaad qaadanayso kediska.

  1. Waa maxay sababta feejignaanta softmax-ga caadiga ahi u liidato dhererka isku xigxiga?
    • Waqtigeeda iyo xusuusteeda waxay ku koraan labajibbaaran dhererka isku xigxiga
    • Waxay u baahan tahay in dhammaan calaamadaha alifbeetada lagu kala saaro
    • Waxay farsamayn kartaa hal calaamad markiiba
    • Waxay u baahan tahay shabakad neural oo gooni ah calaamad kasta
  2. Waa maxay hantida xisaabeed ee u oggolaanaysa dareenka toosan inay ka fogaato matrixka n-by-n?
    • Isku-darka isku-darka
    • Isku dhufashada matrixka
    • Sharciga qaybinta softmax
    • Burburinta Eigenvalue
  3. Waa maxay habka FAVOR+ ee Performer?
    • Cusboonaysiinta soo degista
    • Erayada tokenizer
    • The softmax dareenka kernel
    • Tirakoobka caadiga ah ee lakabka
  4. Muxuu Performer u adeegsadaa sifooyin random togan halkii uu isticmaali lahaa kuwii hore ee trigonometric?
    • Waxay si degdeg ah ugu shaqeeyaan CPU-yada kaliya
    • Waxay meesha ka saaraan baahida loo qabo randomity kasta
    • Waxay ka dhigaan qaabka si buuxda loo fasiri karo
    • Waxay dammaanad qaadayaan miisaanka dareenka aan taban waxayna wanaajiyaan xasilloonida tirada
  5. Waa maxay kakanaanta qiyaasta ee dareenka toosan ee qaab-fuliyaha ee dhererka isku xigxiga n?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. Waa maxay xaddidaadda guud ee dareenka toosan ee saafiga ah marka loo eego dareenka softmax oo buuxa?
    • Kuma shaqayn karo GPU-yada
    • Waxay inta badan ku guulaysataa tayada qaabaynta wax yar ka hooseeya
    • Waxay u shaqeysaa kaliya sawirada
    • Waxay u baahan tahay xog calaamadeysan calaamad kasta
  7. Marka fiiro loo qoro sida phi(Q)(phi(K)^T V), noocee ka dhigaal ah oo hore loo sameyn karaa si looga fogaado in la abuuro matrix n-by-n?
    • Xisaabi QK^T oo kaydi dhammaan dhibcaha lammaane
    • Ku dabaq softmax matrix-ka n-by-n oo dhan marka hore
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Ku dhufo natiijada ugu dambeysa dhererka taxanaha
  8. Maxay faa'iido u leedahay isticmaalka astaamaha random orthogonal ee ku jira qiyaasta Performer’s FAVOR+?
    • Waxay hubisaa softmax sax ah oo ku saabsan taxane kasta
    • Waxay ka saartaa baahida vector-yada query iyo key
    • Waxay ka dhigtaa fiiro quadratic dhererka taxanaha
    • Waxay yareysaa kala duwanaanshaha qiyaasta astaamaha random