Umakini wa Maswali mengi
Uangalifu wa Maswali Mengi (MQA) ni njia ya kuokoa kumbukumbu kwenye umakini wa kibadilishaji umeme ambacho hushiriki seti moja ya funguo na thamani kwenye vichwa vyote vya umakini.
Muhtasari
It dramatically speeds up text generation by shrinking the memory the model must shuffle around.
Dive ya kina
Uangalifu wa kawaida wa vichwa vingi humpa kila kichwa swali lake, ufunguo, na makadirio ya thamani. Wakati wa uzalishaji, funguo na thamani za tokeni zote zilizopita lazima zihifadhiwe na kupakiwa upya kwa kila hatua - kashe hii ya KV inakuwa kizuizi kikuu, kwani kuisoma kutoka kwa kumbukumbu ni polepole kuliko hesabu yenyewe. Uangalifu wa Maswali mengi, uliopendekezwa na Noam Shazeer mnamo 2019, huweka makadirio tofauti ya hoja kwa kila kichwa lakini hukunja funguo na thamani kwa kichwa kimoja kilichoshirikiwa. Hii hupunguza kashe ya KV kwa kipengele sawa na idadi ya vichwa, wakati mwingine 8x hadi 64x ndogo zaidi. Matokeo yake ni kusimbua kwa kasi kiotomatiki na alama nyepesi ya kumbukumbu, iliyo na kiwango cha wastani cha ubora. Msingi wa kati, Umakini wa Maswali ya Vikundi, husawazisha biashara.
Ufahamu wa Kiufundi
Katika MQA, uzani wa hoja bado huzalisha vivekta vya hoja tofauti vya H, lakini makadirio ya ufunguo mmoja na makadirio ya thamani moja hushirikiwa kwenye vichwa vyote. Kila kichwa huhesabu umakini kwa kutumia hoja yake dhidi ya vitufe na maadili sawa. Kwa sababu tensor za K na V zilizoakibishwa hazilingani tena na idadi ya vichwa, kipimo data cha kumbukumbu wakati wa kusimbua hushuka sana - na kipimo data, sio kukokotoa, ndivyo kasi ya uzalishaji wa milango kwenye vichapuzi vya kisasa.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Umakini wa Maswali Mengi
MQA iligundua kuwa unaweza kukata vichwa vya vitufe/thamani visivyo na madhara kwa madhara kidogo, na maarifa hayo sasa yanaunda karibu kila LLM ya makisio ya haraka. Uga umeunganishwa kwa kiasi kikubwa kwenye Uangalifu wa Maswali ya Kundi (GQA), inayotumiwa katika Llama 2/3 na nyingine nyingi, ambayo hutumia vikundi vichache vya KV badala ya kimoja kurejesha ubora huku ikidumisha kasi kubwa. Kazi ya baadaye huchanganya mawazo haya na mbanaji ya kache ya KV, ujazo, na umakinifu mwingi ili kusukuma miktadha mirefu na huduma ya bei nafuu.
Utekelezaji wa Ulimwengu Halisi
Kuongeza kasi ya utengenezaji wa ishara-kwa-tokeni katika visaidizi vya gumzo ambapo kache ya KV, si kukokotoa ghafi, huzuia upitishaji.
Google's PaLM, ambayo ilitumia Uangalifu wa Maswali mengi ili kuwezesha uelekezaji bora wa kiwango kikubwa.
Kutumikia watumiaji wengi kwa wakati mmoja kwenye GPU moja kwa kupunguza kumbukumbu ya akiba ya KV ya kila ombi.
Umakini wa Maswali ya Kundi katika Llama 2 70B na Llama 3, kizazi cha moja kwa moja kinachosawazisha kasi ya MQA na ubora wa umakini kamili.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Umakini wa Maswali ya Kikundi
Maswali yanayoulizwa mara kwa mara
What is Multi-Query Attention?
Uangalifu wa Maswali mengi (MQA) ni msokoto wa kuhifadhi kumbukumbu kwenye umakini wa kibadilishaji umeme ambacho hushiriki seti moja ya funguo na thamani kwenye vichwa vyote vya umakini. Inaharakisha uzalishaji wa maandishi kwa kupunguza kumbukumbu ambayo mtindo lazima uchanganyike.
Uangalifu wa Maswali mengi unashiriki nini kwenye vichwa vyote vya umakini?
MQA huweka hoja tofauti kwa kila kichwa lakini inashiriki makadirio muhimu moja na makadirio ya thamani moja kwa vichwa vyote.
Je, ni kikwazo gani cha msingi ambacho MQA hushughulikia wakati wa uzalishaji wa kujitegemea?
Kupakia upya kashe kubwa ya KV kila hatua imefungwa kwa kipimo data; MQA hupunguza akiba hiyo ili kuharakisha usimbaji.
MQA inapunguza kashe ya KV kwa takriban sababu gani?
Kwa kuwa funguo na thamani huanguka kutoka vichwa vya H hadi moja, kache hupungua kwa takriban hesabu ya kichwa.
Je, ni biashara gani kuu ya kutumia MQA?
Kushiriki funguo na thamani hupunguza uwezo wa uwakilishi kidogo, na kusababisha kupungua kidogo kwa ubora badala ya faida kubwa za kasi.
Ni lahaja gani kati ya uzingatiaji wa kawaida wa vichwa vingi na MQA?
Uangalifu wa Maswali ya Kundi (GQA) hutumia vikundi kadhaa vya KV badala ya kimoja, kusawazisha ubora na kasi.