InayofuataMwongozo unaofuata
Kuzuia-Sparse na Native Sparse Attention
Kiufundi
Lugha AI MWONGOZO
Miundo ya Usikivu Sparse
Uangalifu mdogo hufanya Transfoma kuwa nafuu kwa kuruhusu kila tokeni ihudhurie sehemu ndogo iliyochaguliwa kwa uangalifu ya tokeni zingine badala ya zote.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Hii inauza ufikiaji mdogo wa kimataifa kwa akiba kubwa katika kumbukumbu na kukokotoa mlolongo mrefu.
Dive ya kina
Tahadhari kamili ya kibinafsi inalinganisha kila ishara kwa kila ishara nyingine, hivyo gharama inakua na mraba wa urefu wa mlolongo, ambayo inakuwa chungu kwa nyaraka ndefu. Uangalifu mdogo huchukua nafasi ya muundo mnene na muundo. Miundo ya kawaida ni pamoja na tahadhari ya sliding-dirisha (ndani), ambapo kila ishara inaona majirani tu karibu; mifumo iliyo na miteremko au iliyopanuka ambayo huruka mbele ili kufikia muktadha wa mbali kwa bei nafuu; na ishara za kimataifa, nyadhifa chache maalum zinazoshughulikia kila kitu na ambazo kila kitu hushughulikiwa, zikifanya kazi kama vitovu vya habari. Miundo kama vile Longformer, BigBird, na Sparse Transformer huchanganya hizi ili jumla ya miunganisho ikue takribani kimstari badala ya quadratically, kuwezesha miktadha ya maelfu hadi makumi ya maelfu ya tokeni.
Utekelezaji wa Ulimwengu Halisi
Inachakata karatasi zote za kisayansi au hati za kisheria katika pasi moja kwa kutumia dirisha la kuteleza pamoja na umakini wa kimataifa
BigBird inashughulikia kujibu swali la hati ndefu na mlolongo wa jenomiki kwa umakini wa kuongeza mstari.
Kufupisha maandishi ya urefu wa kitabu ambapo umakini kamili unaweza kumaliza kumbukumbu ya GPU
Urejeshaji na mifumo ya mazungumzo ya muktadha mrefu ambayo hutumia tokeni za kitovu cha kimataifa kuelekeza habari muhimu kwenye maelfu ya tokeni.
Mustakabali wa Miundo ya Umakini wa Sparse
Uangalifu kidogo unasalia kuwa kitovu cha uundaji wa muktadha mrefu, unaozidi kuoanishwa na kokwa zilizoboreshwa kama vile FlashAttention na uchache uliojifunza au unaobadilika ambao huchagua tokeni za kuzingatia kwa kila ingizo. Madirisha ya muktadha yanaponyooshwa kuelekea mamilioni ya tokeni, safu mseto huchanganya tabaka chache, mnene na za anga za juu. Tarajia kokwa chache zinazofahamu maunzi na uzingatiaji unaotegemea uelekezaji ili kuendelea kupunguza gharama ya kusoma pembejeo ndefu sana.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kasi na kiwango. Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
- Kufikia na kufikia. Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
- Maamuzi ya wazi zaidi. Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Jihadharini na
- Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
- Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
- Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Hatua zinazofuata
- Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
- Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
- Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
- Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Sparse Attention Patterns quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Miundo ya Uangalifu ya Sparse ni nini?
Uangalifu mdogo hufanya Transfoma kuwa nafuu kwa kuruhusu kila tokeni ihudhurie sehemu ndogo iliyochaguliwa kwa uangalifu ya tokeni zingine badala ya zote. Hii inauza ufikiaji mdogo wa kimataifa kwa akiba kubwa katika kumbukumbu na kukokotoa mfuatano mrefu.
Kwa nini umakini kamili wa kibinafsi ni ghali kwenye mlolongo mrefu?
Uangalifu kamili unalinganisha kila tokeni na kila tokeni nyingine, ikitoa gharama ya O(N mraba) kwa wakati na kumbukumbu.
Uangalifu wa dirisha la kuteleza (ndani) ni nini?
Uangalifu wa karibu huzuia mtazamo wa kila tokeni kwa dirisha lisilobadilika la tokeni zinazozunguka, hivyo kupunguza gharama kwa kiasi kikubwa.
Ni nini madhumuni ya 'ishara za kimataifa' kwa uangalifu mdogo?
Tokeni chache za kimataifa huunganishwa kwenye nafasi zote, na kuruhusu taarifa kutiririka katika mlolongo mzima kwa bei nafuu.
Ni kielelezo gani kilithibitisha kuwa kuchanganya usikivu wa nasibu, dirisha, na kimataifa hudumisha umakini kamili?
BigBird ilionyesha mchoro wake mdogo ni ukadiriaji wa jumla wa vitendakazi vya mfuatano huku ikiongeza takriban kwa mstari.
Takriban ni jinsi gani idadi ya miunganisho inakua katika umakini mdogo ulioundwa vizuri?
Kwa kuzuia miunganisho ya madirisha ya ndani pamoja na viungo vichache vya kimataifa, miunganisho ya jumla inakua karibu kimstari.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii