Usikivu wa Mstari na Kernels za Utendaji
Uangalifu wa mstari huchukua nafasi ya umakini wa quadratic softmax katika Transfoma kwa hila ya hesabu ambayo hupimwa kwa mstari na urefu wa mfuatano.
Muhtasari
Performer is a landmark method that approximates softmax using random feature kernels, making very long sequences computationally affordable.
Dive ya kina
Umakini wa Transfoma ya Kawaida hujumlisha alama kati ya kila jozi ya tokeni, muda wa gharama na kumbukumbu ambayo hukua na mraba wa urefu wa mfuatano (O(n^2)). Uangalifu wa mstari huandika tena hesabu ili gharama ikue kwa mstari tu (O(n)). Wazo kuu: umakini wa softmax ni softmax(QK^T)V, lakini ukibadilisha softmax na ramani ya kipengele cha kernel phi, unapata phi(Q)(phi(K)^T V). Kwa sababu kuzidisha kwa matriki ni shirikishi, unakokotoa phi(K)^T V kwanza (tumbo ndogo ya d-by-d), ukiepuka kabisa alama kubwa ya n-by-n. Mwigizaji, kutoka Google mwaka wa 2020, anafanya ukadiriaji huu mwaminifu wa softmax ya kweli kwa kutumia FAVOR+ (Fast Attention Via chanya Orthogonal Random), kuchora makadirio nasibu ambayo huweka makadirio ya punje bila kupendelea na dhabiti.
Ufahamu wa Kiufundi
FAVOR+ ya Mwigizaji inakadiria exp ya softmax kernel(q.k) kwa kutumia vipengele vyema vya nasibu: hupanga hoja na funguo kupitia makadirio ya nasibu ya Gaussian yaliyofungwa kwa kielelezo kikubwa, kinachohakikisha uzito wa umakini usio hasi na kuepuka kutofautiana kwa nambari za wakadiriaji wa awali. Kutumia vipengele vya nasibu vya orthogonal hupunguza tofauti. Muhimu zaidi, matrix ya n-by-n haipatikani kamwe, kwa hivyo kumbukumbu hushuka kutoka quadratic hadi mstari, kuwezesha mlolongo wa makumi ya maelfu ya ishara.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Umakini wa Mstari na Kernels za Waigizaji
Uangalifu safi wa mstari mara nyingi hufuata ubora wa hali ya juu, kwa hivyo uga huungana kwenye mseto: miundo ya anga za juu (Mamba), uangalizi wa mstari uliowekwa lango, na usanifu unaochanganya tabaka chache zenye umakini kamili na nyingi za mstari. Madirisha ya muktadha yanaposogea kuelekea mamilioni ya tokeni, taratibu za mstari na ndogo za robo nne zinazidi kuvutia kwa gharama, na uzingatiaji wa mstari wa mtindo unaorudiwa unakaguliwa upya kwa makisio bora ya utiririshaji na miundo ya kifaa.
Utekelezaji wa Ulimwengu Halisi
Kuchakata mfuatano mrefu wa jeni au protini ambapo umakini kamili wa robo tatu utamaliza kumbukumbu ya GPU
Muhtasari wa kiwango cha hati juu ya ripoti ndefu sana bila kugawanyika, kwa kutumia uti wa mgongo wa mtindo wa Mtendaji.
Uundaji bora wa sauti wa fomu ndefu au mfululizo wa muda ambapo mifuatano huchukua makumi ya maelfu ya hatua
Kupunguza gharama ya uelekezaji katika miundo ya gumzo ya muktadha mrefu kwa kubadilisha baadhi ya tabaka za softmax na lahaja za kuzingatia mstari.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Linear Attention and Performer Kernels quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uangalifu wa mstari wa RWKV
Maswali yanayoulizwa mara kwa mara
What is Linear Attention and Performer Kernels?
Uangalifu wa mstari huchukua nafasi ya umakini wa quadratic softmax katika Transfoma kwa hila ya hesabu ambayo hupimwa kwa mstari na urefu wa mfuatano. Utendaji ni njia muhimu ambayo inakadiria softmax kwa kutumia kernels za vipengele nasibu, na kufanya mifuatano mirefu sana iwe nafuu kwa kukokotoa.
Kwa nini usikivu wa kawaida wa softmax huwa hafifu na urefu wa mlolongo?
Umakini wa Softmax hulinganisha kila jozi ya tokeni, huzalisha alama ya n-na-n, kwa hivyo gharama hukua kama O(n^2).
Ni mali gani ya hisabati huruhusu umakini wa mstari kuzuia matrix ya n-by-n?
Kwa sababu kuzidisha kwa matrix ni shirikishi, unaweza kukokotoa phi(K)^T V kwanza, matrix ndogo ya d-by-d, badala ya phi(Q)phi(K)^T.
Utaratibu wa FAVOR+ wa Performer unakadiria nini?
FAVOR+ hutumia vipengele vyema vya nasibu vya orthogonal kukadiria kerneli ya upeo laini ya hali ya juu bila kuunda matrix kamili ya umakini.
Kwa nini Performer hutumia vipengele vyema vya nasibu badala ya vile vya awali vya trigonometric?
Vipengele vyema huweka makadirio ya kernel kuwa yasiyo hasi, kuepuka kuyumba na maadili hasi ambayo yalikumba ramani za kipengele cha sin/cos hapo awali.
Je! ni takriban ugumu gani wa umakini wa mstari wa mtindo wa Mwigizaji katika urefu wa mfuatano n?
Kwa kupanga upya hesabu na kamwe usijenge matrix ya n-by-n, mizani ya gharama kwa mstari na urefu wa mfuatano.