Dubawa
Multi-Query Attention (MQA) juzu'i ce ta adana ƙwaƙwalwar ajiya akan hankalin taswira wanda ke raba saiti ɗaya na maɓalli da ƙima a duk shugabannin hankali. Yana hanzarta haɓaka rubutun rubutu ta hanyar raguwar ƙwaƙwalwar ajiyar ƙirar dole ne ta shuɗe.
Hankalin Tambaya da yawa wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli.
Zurfafa nutsewa
Daidaitaccen kulawar kai mai yawa yana bawa kowane shugaban tambayar kansa, maɓalli, da hasashen ƙimarsa. A lokacin tsarawa, maɓallai da ƙimar duk alamun da suka gabata dole ne a adana su kuma a sake ɗora su a kowane mataki - wannan cache na KV ya zama babban ƙugiya, tunda karanta shi daga ƙwaƙwalwar ajiya yana da hankali fiye da lissafin kansa. Hankalin Tambayoyi da yawa, wanda Noam Shazeer ya gabatar a cikin 2019, yana adana tsinkaye daban-daban akan kowane kai amma yana ruguza maɓallai da ƙimar zuwa kai guda ɗaya. Wannan yana rage ma'ajin KV da ma'auni daidai da adadin kawunan, wani lokacin 8x zuwa 64x ƙarami. Sakamakon yana da saurin yankewa autoregressive da saurin sawun ƙwaƙwalwar ajiya, tare da tsoma mai inganci kawai. Ƙasa ta tsakiya, Ƙungiya-Tambaya Hankali, tana daidaita cinikin.
Fahimtar Fasaha
A cikin MQA, ma'aunin tambaya har yanzu yana samar da nau'ikan tambayoyin H daban-daban, amma tsinkayar maɓalli ɗaya da tsinkayar ƙima guda ɗaya ana raba su a duk kawunansu. Kowane shugaban yana lissafta hankali ta amfani da tambayarsa akan maɓalli da ƙima iri ɗaya. Saboda abubuwan da aka adana K da V tenors ba su ƙara yin sikelin da adadin kawunan ba, bandwidth na ƙwaƙwalwar ajiya yayin yanke hukunci yana faɗuwa sosai - kuma bandwidth, ba ƙididdigewa ba, shine saurin haɓakar ƙofofin kan masu haɓakawa na zamani.
Jagorar Hankalin Tambaya da yawa
Multi-Query Attention (MQA) juzu'i ce ta adana ƙwaƙwalwar ajiya akan hankalin taswira wanda ke raba saiti ɗaya na maɓalli da ƙima a duk shugabannin hankali. Yana hanzarta haɓaka rubutun rubutu ta hanyar raguwar ƙwaƙwalwar ajiyar ƙirar dole ne ta shuɗe. Hankalin Tambaya da yawa wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli. Don gina fahimta mai zurfi, bi da Hankalin Tambaya da yawa azaman ƙirar aiki, ba fasali ɗaya ba: ayyana sakamakon da ake so, fayyace zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu yana buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi ta yin amfani da ƙira mai ƙira mai yawa-Tambaya ta tunzura, dawowa, da sake duba madaukai azaman tsarin sadarwa mai haɗaka. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A lokaci guda, abubuwan da ba a iya gani ba na iya shigar da rahotanni cikin nutsuwa, kwararar goyan baya, ko abubuwan bincike. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
Ƙaddamar da ƙayyadaddun ƙayyadaddun alama a cikin mataimakan taɗi inda KV cache, ba daɗaɗɗen ƙididdigewa ba, yana iyakance kayan aiki.
Google's PaLM, wanda yayi amfani da Hankalin Tambayoyi da yawa don ba da damar ingantacciyar fa'ida mai girma.
Bauta wa masu amfani da yawa na lokaci guda akan GPU ɗaya ta hanyar rage ƙwaƙwalwar ajiyar cache na KV-kowace bukata.
Hankalin Rukuni-Tambaya a Llama 2 70B da Llama 3, zuriyar kai tsaye tana daidaita saurin MQA tare da cikakkiyar kulawa.
Hanyoyin Aiwatarwa
Hankalin Tambaya da yawa a aikace
Ƙaddamar da ƙayyadaddun ƙayyadaddun alama a cikin mataimakan taɗi inda KV cache, ba daɗaɗɗen ƙididdigewa ba, yana iyakance kayan aiki.
Ƙaddamar da ƙayyadaddun ƙayyadaddun alamar alama a cikin mataimakan taɗi inda KV cache, ba ƙididdigar ƙididdigewa ba, iyakance ƙungiyoyin kayan aiki yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in ƙira, da bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Hankalin Tambaya da yawa a aikace
Google's PaLM, wanda yayi amfani da Hankalin Tambayoyi da yawa don ba da damar ingantacciyar fa'ida mai girma.
Google's PaLM, wanda ya yi amfani da Hankalin Tambaya da yawa don ba da damar ingantattun manyan ƙididdiga ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da ƙimar kuskure na tsawon lokaci.
Hankalin Tambaya da yawa a aikace
Bauta wa masu amfani da yawa na lokaci guda akan GPU ɗaya ta hanyar rage ƙwaƙwalwar ajiyar cache na KV-kowace bukata.
Bauta wa masu amfani da yawa a lokaci guda akan GPU ɗaya ta hanyar rage buƙatar kowane buƙatar KV cache ƙungiyoyin ƙwaƙwalwar ajiya yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefe, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Hankalin Tambaya da yawa a aikace
Hankalin Rukuni-Tambaya a Llama 2 70B da Llama 3, zuriyar kai tsaye tana daidaita saurin MQA tare da cikakkiyar kulawa.
Hankalin Rukuni-Tambaya a Llama 2 70B da Llama 3, zuriyar kai tsaye tana daidaita saurin MQA tare da cikakkiyar kulawar Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da kuma bin diddigin abubuwan da ake samu da kuma tsadar kuɗi a kan lokaci.
Hatsari & Tsare-tsare
Abubuwan da aka ruɗe suna iya shigar da rahotanni cikin nutsuwa, kwararar tallafi, ko abubuwan bincike.
Hankali na gaggawa na iya ƙirƙirar sakamako mara daidaituwa a cikin buƙatun iri ɗaya.
Za a iya fallasa bayanan rubutu mai ma'ana idan ikon samun dama yana da rauni.
Taswirar Hanya
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa.
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.