InayofuataMwongozo unaofuata
Umakini wa Maswali ya Kikundi
Lugha AI
Lugha AI MWONGOZO
Umakini wa Maswali mengi
Uangalifu wa Maswali Mengi (MQA) ni njia ya kuokoa kumbukumbu kwenye umakini wa kibadilishaji umeme ambacho hushiriki seti moja ya funguo na thamani kwenye vichwa vyote vya umakini.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It dramatically speeds up text generation by shrinking the memory the model must shuffle around.
Dive ya kina
Uangalifu wa kawaida wa vichwa vingi humpa kila kichwa swali lake, ufunguo, na makadirio ya thamani. Wakati wa uzalishaji, funguo na thamani za tokeni zote zilizopita lazima zihifadhiwe na kupakiwa upya kwa kila hatua - kashe hii ya KV inakuwa kizuizi kikuu, kwani kuisoma kutoka kwa kumbukumbu ni polepole kuliko hesabu yenyewe. Uangalifu wa Maswali mengi, uliopendekezwa na Noam Shazeer mnamo 2019, huweka makadirio tofauti ya hoja kwa kila kichwa lakini hukunja funguo na thamani kwa kichwa kimoja kilichoshirikiwa. Hii hupunguza kashe ya KV kwa kipengele sawa na idadi ya vichwa, wakati mwingine 8x hadi 64x ndogo zaidi. Matokeo yake ni kusimbua kwa kasi kiotomatiki na alama nyepesi ya kumbukumbu, iliyo na kiwango cha wastani cha ubora. Msingi wa kati, Umakini wa Maswali ya Vikundi, husawazisha biashara.
Utekelezaji wa Ulimwengu Halisi
Kuongeza kasi ya utengenezaji wa ishara-kwa-tokeni katika visaidizi vya gumzo ambapo kache ya KV, si kukokotoa ghafi, huzuia upitishaji.
Google's PaLM, ambayo ilitumia Uangalifu wa Maswali mengi ili kuwezesha uelekezaji bora wa kiwango kikubwa.
Kutumikia watumiaji wengi kwa wakati mmoja kwenye GPU moja kwa kupunguza kumbukumbu ya akiba ya KV ya kila ombi.
Umakini wa Maswali ya Kundi katika Llama 2 70B na Llama 3, kizazi cha moja kwa moja kinachosawazisha kasi ya MQA na ubora wa umakini kamili.
Mustakabali wa Umakini wa Maswali Mengi
MQA iligundua kuwa unaweza kukata vichwa vya vitufe/thamani visivyo na madhara kwa madhara kidogo, na maarifa hayo sasa yanaunda karibu kila LLM ya makisio ya haraka. Uga umeunganishwa kwa kiasi kikubwa kwenye Uangalifu wa Maswali ya Kundi (GQA), inayotumiwa katika Llama 2/3 na nyingine nyingi, ambayo hutumia vikundi vichache vya KV badala ya kimoja kurejesha ubora huku ikidumisha kasi kubwa. Kazi ya baadaye huchanganya mawazo haya na mbanaji ya kache ya KV, ujazo, na umakinifu mwingi ili kusukuma miktadha mirefu na huduma ya bei nafuu.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kasi na kiwango. Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
- Kufikia na kufikia. Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
- Maamuzi ya wazi zaidi. Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Jihadharini na
- Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
- Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
- Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Hatua zinazofuata
- Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
- Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
- Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
- Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Multi-Query Attention quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Multi-Query Attention?
Uangalifu wa Maswali mengi (MQA) ni msokoto wa kuhifadhi kumbukumbu kwenye umakini wa kibadilishaji umeme ambacho hushiriki seti moja ya funguo na thamani kwenye vichwa vyote vya umakini. Inaharakisha uzalishaji wa maandishi kwa kupunguza kumbukumbu ambayo mtindo lazima uchanganyike.
Uangalifu wa Maswali mengi unashiriki nini kwenye vichwa vyote vya umakini?
MQA huweka hoja tofauti kwa kila kichwa lakini inashiriki makadirio muhimu moja na makadirio ya thamani moja kwa vichwa vyote.
Je, ni kikwazo gani cha msingi ambacho MQA hushughulikia wakati wa uzalishaji wa kujitegemea?
Kupakia upya kashe kubwa ya KV kila hatua imefungwa kwa kipimo data; MQA hupunguza akiba hiyo ili kuharakisha usimbaji.
MQA inapunguza kashe ya KV kwa takriban sababu gani?
Kwa kuwa funguo na thamani huanguka kutoka vichwa vya H hadi moja, kache hupungua kwa takriban hesabu ya kichwa.
Je, ni biashara gani kuu ya kutumia MQA?
Kushiriki funguo na thamani hupunguza uwezo wa uwakilishi kidogo, na kusababisha kupungua kidogo kwa ubora badala ya faida kubwa za kasi.
Ni lahaja gani kati ya uzingatiaji wa kawaida wa vichwa vingi na MQA?
Uangalifu wa Maswali ya Kundi (GQA) hutumia vikundi kadhaa vya KV badala ya kimoja, kusawazisha ubora na kasi.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii