Miundo ya Usikivu Sparse
Uangalifu mdogo hufanya Transfoma kuwa nafuu kwa kuruhusu kila tokeni ihudhurie sehemu ndogo iliyochaguliwa kwa uangalifu ya tokeni zingine badala ya zote.
Muhtasari
This trades a little global reach for big savings in memory and compute on long sequences.
Dive ya kina
Tahadhari kamili ya kibinafsi inalinganisha kila ishara kwa kila ishara nyingine, hivyo gharama inakua na mraba wa urefu wa mlolongo, ambayo inakuwa chungu kwa nyaraka ndefu. Uangalifu mdogo huchukua nafasi ya muundo mnene na muundo. Miundo ya kawaida ni pamoja na tahadhari ya sliding-dirisha (ndani), ambapo kila ishara inaona majirani tu karibu; mifumo iliyo na miteremko au iliyopanuka ambayo huruka mbele ili kufikia muktadha wa mbali kwa bei nafuu; na ishara za kimataifa, nyadhifa chache maalum zinazoshughulikia kila kitu na ambazo kila kitu hushughulikiwa, zikifanya kazi kama vitovu vya habari. Miundo kama vile Longformer, BigBird, na Sparse Transformer huchanganya hizi ili jumla ya miunganisho ikue takribani kimstari badala ya quadratically, kuwezesha miktadha ya maelfu hadi makumi ya maelfu ya tokeni.
Ufahamu wa Kiufundi
Badala ya mkusanyiko kamili wa umakini wa N-na-N, umakini mdogo hujumuisha maingizo yaliyochaguliwa pekee, mara nyingi muungano wa dirisha la ndani na safu mlalo na safu wima chache za kimataifa. BigBird alithibitisha kwa umaarufu kuwa kuchanganya miunganisho ya nasibu, dirisha, na kimataifa huhifadhi uelekezi wa kinadharia wa umakini kamili huku ikipunguza utata kutoka O(N mraba) kuelekea O(N). Kernels zinazofaa ruka maingizo yaliyofunikwa kabisa badala ya kuyaweka kwenye kompyuta kisha kuyapunguza.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Miundo ya Umakini wa Sparse
Uangalifu kidogo unasalia kuwa kitovu cha uundaji wa muktadha mrefu, unaozidi kuoanishwa na kokwa zilizoboreshwa kama vile FlashAttention na uchache uliojifunza au unaobadilika ambao huchagua tokeni za kuzingatia kwa kila ingizo. Madirisha ya muktadha yanaponyooshwa kuelekea mamilioni ya tokeni, safu mseto huchanganya tabaka chache, mnene na za anga za juu. Tarajia kokwa chache zinazofahamu maunzi na uzingatiaji unaotegemea uelekezaji ili kuendelea kupunguza gharama ya kusoma pembejeo ndefu sana.
Utekelezaji wa Ulimwengu Halisi
Inachakata karatasi zote za kisayansi au hati za kisheria katika pasi moja kwa kutumia dirisha la kuteleza pamoja na umakini wa kimataifa
BigBird inashughulikia kujibu swali la hati ndefu na mlolongo wa jenomiki kwa umakini wa kuongeza mstari.
Kufupisha maandishi ya urefu wa kitabu ambapo umakini kamili unaweza kumaliza kumbukumbu ya GPU
Urejeshaji na mifumo ya mazungumzo ya muktadha mrefu ambayo hutumia tokeni za kitovu cha kimataifa kuelekeza habari muhimu kwenye maelfu ya tokeni.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sparse Attention Patterns quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kuzuia-Sparse na Native Sparse Attention
Maswali yanayoulizwa mara kwa mara
What is Sparse Attention Patterns?
Uangalifu mdogo hufanya Transfoma kuwa nafuu kwa kuruhusu kila tokeni ihudhurie sehemu ndogo iliyochaguliwa kwa uangalifu ya tokeni zingine badala ya zote. Hii inauza ufikiaji mdogo wa kimataifa kwa akiba kubwa katika kumbukumbu na kukokotoa mfuatano mrefu.
Kwa nini umakini kamili wa kibinafsi ni ghali kwenye mlolongo mrefu?
Uangalifu kamili unalinganisha kila tokeni na kila tokeni nyingine, ikitoa gharama ya O(N mraba) kwa wakati na kumbukumbu.
Uangalifu wa dirisha la kuteleza (ndani) ni nini?
Uangalifu wa karibu huzuia mtazamo wa kila tokeni kwa dirisha lisilobadilika la tokeni zinazozunguka, hivyo kupunguza gharama kwa kiasi kikubwa.
Ni nini madhumuni ya 'ishara za kimataifa' kwa uangalifu mdogo?
Tokeni chache za kimataifa huunganishwa kwenye nafasi zote, na kuruhusu taarifa kutiririka katika mlolongo mzima kwa bei nafuu.
Ni kielelezo gani kilithibitisha kuwa kuchanganya usikivu wa nasibu, dirisha, na kimataifa hudumisha umakini kamili?
BigBird ilionyesha mchoro wake mdogo ni ukadiriaji wa jumla wa vitendakazi vya mfuatano huku ikiongeza takriban kwa mstari.
Takriban ni jinsi gani idadi ya miunganisho inakua katika umakini mdogo ulioundwa vizuri?
Kwa kuzuia miunganisho ya madirisha ya ndani pamoja na viungo vichache vya kimataifa, miunganisho ya jumla inakua karibu kimstari.