Taratibu za Kuzingatia
Kuzingatia huruhusu mwanamitindo kuamua ni maneno gani mengine katika sentensi yana umuhimu zaidi anapofasiri kila neno.
Muhtasari
It is the core idea that made the transformer — and therefore modern AI like ChatGPT — possible.
Dive ya kina
Makini hujibu swali rahisi kwa kila neno: ni maneno gani mengine ninapaswa kuangalia ili kuelewa hili? Karatasi ya 2017 ya 'Uangalifu Ndio Wote Unaohitaji' ya Vaswani na wenzake katika Google ilianzisha kibadilishaji umeme, ambacho hutumia umakini kama injini yake kuu na kuangusha miundo ya zamani inayojirudia. Kila ishara imegeuzwa kuwa vekta tatu: swala (ninatafuta nini?), ufunguo (ninatoa nini?), na thamani (habari ninayobeba). Hoja ya ishara inalinganishwa dhidi ya ufunguo wa kila ishara ili kutoa uzani wa umakini, ambao huchanganya maadili pamoja. Kujizingatia hufanya hivi ndani ya mlolongo mmoja ili kila neno liweze kuhudhuria moja kwa moja kwa kila neno lingine. Uangalifu wa vichwa vingi huendesha ulinganisho mwingi kama huo, kila moja ikizingatia mifumo tofauti.
Ufahamu wa Kiufundi
Hisabati imekuzwa kwa umakini wa bidhaa ya nukta: softmax(QK^T / √d_k) V. Bidhaa ya nukta ya hoja na vitufe huonyesha jinsi kila jozi inavyofaa; kugawanya kwa mzizi wa mraba wa kipimo cha ufunguo (√d_k) huzuia alama hizo zisizidi kuwa kubwa; softmax inawageuza kuwa uzani ambao jumla yake ni moja; na kuzidisha kwa V hutoa mchanganyiko ulio na uzani wa maadili. Kwa sababu kila tokeni inalinganishwa na nyingine, gharama hukua na mraba wa urefu wa mfuatano - O(n²) - ndiyo maana pembejeo ndefu ni ghali na kwa nini uboreshaji kama FlashAttention upo.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Taratibu za Kuzingatia
Uangalifu upo hapa, lakini gharama yake ya mara nne inasukuma utafiti mkubwa. FlashAttention ilifanya uangalizi wa kawaida kwa haraka zaidi na uhifadhi kumbukumbu zaidi kwa kupanga upya hesabu. Maelekezo mapya zaidi yanajumuisha umakini mdogo na wa mstari, umakini wa makundi na maswali mengi ili kupunguza kumbukumbu wakati wa uzalishaji, na miundo mseto inayochanganya umakini na miundo ya anga za juu kama Mamba kwa ingizo refu sana. Tarajia mifumo ya siku za usoni ili kuweka unyumbufu wa umakini wakati wa kupinda mkondo wa gharama ili kuchakata nyenzo za urefu wa kitabu au hati nyingi ziwe za kawaida na za bei nafuu.
Utekelezaji wa Ulimwengu Halisi
Tafsiri ya mashine, ambapo muundo hushughulikia maneno asilia husika wakati wa kutengeneza kila neno lililotafsiriwa.
Muhtasari, ambapo umakini husaidia mtindo kuzingatia sentensi muhimu zaidi katika kifungu kirefu.
Visaidizi vya msimbo vinavyozingatia ufafanuzi wa awali wa kutofautisha wakati wa kutabiri mstari unaofuata.
Swali la kujibu juu ya hati, ambapo umakini huunganisha maneno ya swali na kifungu ambacho kina jibu.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Attention Mechanisms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Tahadhari ya Dirisha la Kuteleza
Maswali yanayoulizwa mara kwa mara
What is Attention Mechanisms?
Kuzingatia huruhusu mwanamitindo kuamua ni maneno gani mengine katika sentensi yana umuhimu zaidi anapofasiri kila neno. Ni wazo kuu lililofanya kibadilishaji kubadilisha - na kwa hivyo AI ya kisasa kama ChatGPT - iwezekanavyo.
Katika sentensi moja, utaratibu wa umakini hufanya nini?
Kuzingatia huhesabu uzani ambao huamua ni kiasi gani kila ishara inapaswa kuchora kwenye tokeni zingine wakati wa kuunda uwakilishi wake.
Ni karatasi gani ya kihistoria ya 2017 iliyoanzisha usanifu wa kibadilishaji?
'Tahadhari Ndio Wote Unaohitaji' (Vaswani et al., 2017) walipendekeza kibadilishaji umeme, ambacho kinategemea umakini badala ya kujirudia.
Je, ni vekta gani tatu zilizokokotwa kwa kila ishara inayozingatiwa?
Kila ishara hutoa hoja, ufunguo, na thamani; maswali yanalinganishwa dhidi ya vitufe vya kupima thamani.
Katika fomula softmax(QK^T / √d_k) V, kwa nini ugawanye kwa √d_k?
Kuongeza kwa mzizi wa mraba wa kipimo cha ufunguo huzuia bidhaa kubwa za nukta ambazo zinaweza kusukuma softmax kwenye gradient ndogo, kuweka mafunzo kuwa thabiti.
Kwa nini umakini wa kawaida unakuwa ghali kwa pembejeo ndefu sana?
Kila tokeni huzingatia kila tokeni nyingine, kwa hivyo idadi ya ulinganisho huwa kama n², na kufanya mfuatano mrefu kuwa wa gharama katika wakati na kumbukumbu.