Umakini wa Maswali ya Kikundi
Uangalifu wa Maswali ya Kundi (GQA) ni njia ya kupunguza kumbukumbu inayohitajika wakati wa kuunda maandishi kwa kuruhusu vichwa kadhaa vya hoja kushiriki vitufe sawa na vichwa vya thamani.
Muhtasari
It makes large models much faster to serve with almost no quality loss.
Dive ya kina
Katika safu ya kawaida ya tahadhari ya vichwa vingi, kila kichwa kina maswali yake, funguo na maadili. Wakati wa uzalishaji, funguo na thamani za tokeni zote za awali huwekwa kwenye akiba ('Kache ya KV') ili muundo usizitoe tena. Kwa vichwa vingi na miktadha mirefu, kashe hii inakuwa kubwa na inatawala kipimo data cha kumbukumbu kwa wakati wa uelekezaji. GQA, iliyoanzishwa na Google watafiti mwaka wa 2023, inaweka pamoja vichwa vya hoja na kukipa kila kikundi seti moja iliyoshirikiwa ya funguo na vichwa vya thamani. Ikiwa una vichwa vya hoja 32 lakini vikundi 8 vya KV pekee, kashe ya KV hupungua takribani mara nne. Hii inakaa kati ya uangalizi kamili wa vichwa vingi (kila kichwa kikijitenga) na uzingatiaji wa hoja nyingi (KV moja iliyoshirikiwa kwa vichwa vyote), ikichukua kasi kubwa ya MQA huku ubora ukiwa karibu na umakini kamili. Llama 2 70B na mifano mingi ya baadaye iliikubali.
Ufahamu wa Kiufundi
Ubora wa umakini hutegemea sana kuwa na maelekezo mengi tofauti ya hoja, lakini huvumilia kushiriki funguo na thamani. GQA inatumia ulinganifu huu: huhifadhi vichwa vya hoja zote lakini inakili kila kichwa cha KV kilichoshirikiwa katika hoja zote kwenye kikundi chake. Akiba inakuja kwa hitimisho, ambapo kashe ya KV ndio mtumiaji mkuu wa kipimo data cha kumbukumbu; vichwa vichache vya KV vinamaanisha data kidogo ya kusoma kwa tokeni inayozalishwa. Miundo mara nyingi 'hufunzwa' kwa muda mfupi ili kubadilisha kituo cha ukaguzi kilichopo chenye vichwa vingi kuwa GQA.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Umakini wa Maswali ya Kikundi
GQA sasa ni chaguo-msingi la kawaida katika miundo ya uzani huria kwa sababu inauza kwa usafi gharama ndogo ya ubora kwa ushindi mkubwa wa huduma. Tarajia kuunganishwa zaidi na mbinu zingine za ufanisi kama vile FlashAttention, KV-cache quantization, na mifumo mpya zaidi kama vile umakini wa hali ya juu wa vichwa vingi ambao unabana kache hata zaidi. Madirisha ya muktadha yanapokua, kudhibiti ukubwa wa akiba ya KV kutasalia kuwa tatizo kuu la muundo, na kubadilishana kichwa kwa mtindo wa GQA kutabaki kuwa kigezo kikuu.
Utekelezaji wa Ulimwengu Halisi
Llama 2 70B na Llama 3 kwa kutumia GQA kutumikia miktadha mirefu na akiba ndogo ya KV
Inapunguza kumbukumbu ya GPU ili muundo mkubwa wa gumzo utoshee kwenye vichapuzi vichache au vya bei nafuu
Kuongeza kasi ya uzalishaji wa tokeni kwa ishara katika API za uzalishaji ambapo kipimo data cha KV-cache ndio kikwazo.
Kuwezesha ukubwa wa kundi kubwa kwa kuwahudumia watumiaji wengi kwa wakati mmoja bila kumbukumbu inayochosha
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Umakini wa Maswali mengi
Maswali yanayoulizwa mara kwa mara
What is Grouped-Query Attention?
Uangalifu wa Maswali ya Kundi (GQA) ni njia ya kupunguza kumbukumbu inayohitajika wakati wa kuunda maandishi kwa kuruhusu vichwa kadhaa vya hoja kushiriki vitufe sawa na vichwa vya thamani. Inafanya mifano mikubwa kwa haraka zaidi kutumikia na karibu hakuna hasara ya ubora.
Katika Umakini wa Hoja-ya Kikundi, ni nini kinachoshirikiwa kati ya kikundi cha vichwa vya hoja?
GQA huweka vichwa tofauti vya hoja lakini huruhusu kila kikundi kishiriki seti moja ya vichwa vya vitufe na thamani, ikipunguza akiba ya KV.
GQA inaelezewa vyema kama msingi wa kati kati ya misimamo miwili iliyokithiri?
Vichwa vingi humpa kila kichwa KV yake; swala nyingi hushiriki KV moja kwa vichwa vyote; GQA inakaa katikati na vikundi vichache vya KV.
Je, ni sehemu gani ya makisio ambayo GQA inaifanya iwe nafuu?
Akiba huonekana wakati wa kizazi, ambapo kusoma kache ya KV ndio gharama kuu ya kumbukumbu-bandwidth.
Ikiwa mtindo una vichwa 32 vya maswali na vikundi 8 vya KV, kashe ya KV inapunguzwa kwa takriban sababu gani?
Vichwa vya hoja 32 vilivyogawanywa na vikundi 8 vya KV vilivyoshirikiwa vinapunguza takriban mara nne kwa vitufe na thamani zilizoakibishwa.
Kwa nini GQA inaweza kuhifadhi ubora wa modeli licha ya kushiriki vichwa vya KV?
Uangalifu huvumilia funguo na thamani za kushiriki vizuri zaidi kuliko inavyostahimili kupoteza maelekezo mahususi ya hoja, kwa hivyo GQA huweka ubora wa juu.