InayofuataMwongozo unaofuata
Uangalifu wa mstari wa RWKV
Lugha AI
MWONGOZO wa Kiufundi
Usikivu wa Mstari na Kernels za Utendaji
Uangalifu wa mstari huchukua nafasi ya umakini wa quadratic softmax katika Transfoma kwa hila ya hesabu ambayo hupimwa kwa mstari na urefu wa mfuatano.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Utendaji ni njia muhimu ambayo inakadiria softmax kwa kutumia kernels za vipengele nasibu, na kufanya mifuatano mirefu sana iwe nafuu kwa kukokotoa.
Dive ya kina
Umakini wa Transfoma ya Kawaida hujumlisha alama kati ya kila jozi ya tokeni, muda wa gharama na kumbukumbu ambayo hukua na mraba wa urefu wa mfuatano (O(n^2)). Uangalifu wa mstari huandika tena hesabu ili gharama ikue kwa mstari tu (O(n)). Wazo kuu: umakini wa softmax ni softmax(QK^T)V, lakini ukibadilisha softmax na ramani ya kipengele cha kernel phi, unapata phi(Q)(phi(K)^T V). Kwa sababu kuzidisha kwa matriki ni shirikishi, unakokotoa phi(K)^T V kwanza (tumbo ndogo ya d-by-d), ukiepuka kabisa alama kubwa ya n-by-n. Mwigizaji, kutoka Google mwaka wa 2020, anafanya ukadiriaji huu mwaminifu wa softmax ya kweli kwa kutumia FAVOR+ (Fast Attention Via chanya Orthogonal Random), kuchora makadirio nasibu ambayo huweka makadirio ya punje bila kupendelea na dhabiti.
Utekelezaji wa Ulimwengu Halisi
Kuchakata mfuatano mrefu wa jeni au protini ambapo umakini kamili wa robo tatu utamaliza kumbukumbu ya GPU
Muhtasari wa kiwango cha hati juu ya ripoti ndefu sana bila kugawanyika, kwa kutumia uti wa mgongo wa mtindo wa Mtendaji.
Uundaji bora wa sauti wa fomu ndefu au mfululizo wa muda ambapo mifuatano huchukua makumi ya maelfu ya hatua
Kupunguza gharama ya uelekezaji katika miundo ya gumzo ya muktadha mrefu kwa kubadilisha baadhi ya tabaka za softmax na lahaja za kuzingatia mstari.
Mustakabali wa Umakini wa Mstari na Kernels za Waigizaji
Uangalifu safi wa mstari mara nyingi hufuata ubora wa hali ya juu, kwa hivyo uga huungana kwenye mseto: miundo ya anga za juu (Mamba), uangalizi wa mstari uliowekwa lango, na usanifu unaochanganya tabaka chache zenye umakini kamili na nyingi za mstari. Madirisha ya muktadha yanaposogea kuelekea mamilioni ya tokeni, taratibu za mstari na ndogo za robo nne zinazidi kuvutia kwa gharama, na uzingatiaji wa mstari wa mtindo unaorudiwa unakaguliwa upya kwa makisio bora ya utiririshaji na miundo ya kifaa.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Linear Attention and Performer Kernels quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Usikivu wa Linear na Kernels za Utendaji ni nini?
Uangalifu wa mstari huchukua nafasi ya umakini wa quadratic softmax katika Transfoma kwa hila ya hesabu ambayo hupimwa kwa mstari na urefu wa mfuatano. Utendaji ni njia muhimu ambayo inakadiria softmax kwa kutumia kernels za vipengele nasibu, na kufanya mifuatano mirefu sana iwe nafuu kwa kukokotoa.
Kwa nini usikivu wa kawaida wa softmax huwa hafifu na urefu wa mlolongo?
Umakini wa Softmax hulinganisha kila jozi ya tokeni, huzalisha alama ya n-na-n, kwa hivyo gharama hukua kama O(n^2).
Ni mali gani ya hisabati huruhusu umakini wa mstari kuzuia matrix ya n-by-n?
Kwa sababu kuzidisha kwa matrix ni shirikishi, unaweza kukokotoa phi(K)^T V kwanza, matrix ndogo ya d-by-d, badala ya phi(Q)phi(K)^T.
Utaratibu wa FAVOR+ wa Performer unakadiria nini?
FAVOR+ hutumia vipengele vyema vya nasibu vya orthogonal kukadiria kerneli ya upeo laini ya hali ya juu bila kuunda matrix kamili ya umakini.
Kwa nini Performer hutumia vipengele vyema vya nasibu badala ya vile vya awali vya trigonometric?
Vipengele vyema huweka makadirio ya kernel kuwa yasiyo hasi, kuepuka kuyumba na maadili hasi ambayo yalikumba ramani za kipengele cha sin/cos hapo awali.
Je! ni takriban ugumu gani wa umakini wa mstari wa mtindo wa Mwigizaji katika urefu wa mfuatano n?
Kwa kupanga upya hesabu na kamwe usijenge matrix ya n-by-n, mizani ya gharama kwa mstari na urefu wa mfuatano.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii