Dubawa
Hankalin Rukuni-Tambaya (GQA) hanya ce ta rage ƙwaƙwalwar da ake buƙata yayin tsara rubutu ta barin shugabannin tambaya da yawa su raba maɓalli ɗaya da shugabannin ƙima. Yana sa manyan samfura da sauri don yin hidima tare da kusan babu asarar inganci.
Hankalin Rukuni-Tambaya Hankali wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli.
Zurfafa nutsewa
A cikin madaidaitan kula da kai mai yawan kai, kowane kai yana da nasa tambayoyin, maɓallai, da ƙima. A lokacin tsarawa, maɓallai da ƙimar duk alamun da suka gabata ana adana su ('KV cache') don haka ƙirar baya ƙididdige su. Tare da shugabannin da yawa da dogayen mahallin, wannan cache ya zama babba kuma yana mamaye bandwidth na ƙwaƙwalwar ajiya a lokacin ƙididdigewa. GQA, wanda Google masu bincike suka gabatar a cikin 2023, suna tattara shugabannin tambayar kuma suna ba kowane rukuni saitin maɓalli da ƙima ɗaya. Idan kuna da shugabannin tambaya 32 amma ƙungiyoyin KV 8 kawai, ma'ajin KV ɗin yana raguwa kusan ninki huɗu. Wannan yana zaune tsakanin cikakken kulawa da kai (kowane kai daban) da kulawar tambaya da yawa (wanda aka raba KV don duk shugabannin), yana ɗaukar mafi yawan saurin MQA yayin kiyaye inganci kusa da cikakkiyar hankali. Llama 2 70B kuma yawancin samfura daga baya sun karbe shi.
Fahimtar Fasaha
Ingantacciyar kulawa ya dogara sosai akan samun takamaiman kwatancen tambaya, amma yana jure wa raba maɓalli da ƙima. GQA tana amfani da wannan asymmetry: tana kiyaye duk shugabannin tambaya amma tana maimaita kowane shugaban KV da aka raba a cikin tambayoyin da ke cikin rukuninsa. Ajiye ya zo ne a cikin mahimmanci, inda KV cache shine babban mabukaci na bandwidth na ƙwaƙwalwar ajiya; Ƙananan shugabannin KV suna nufin ƙarancin bayanai don karanta kowace alamar da aka samar. Sau da yawa ana 'ɗayan samfura' a taƙaice don canza wurin bincike mai yawan kai zuwa GQA ɗaya.
Jagoran Ƙungiya-Tambaya Hankalin
Hankalin Rukuni-Tambaya (GQA) hanya ce ta rage ƙwaƙwalwar da ake buƙata yayin tsara rubutu ta barin shugabannin tambaya da yawa su raba maɓalli ɗaya da shugabannin ƙima. Yana sa manyan samfura da sauri don yin hidima tare da kusan babu asarar inganci. Hankalin Rukuni-Tambaya Hankali wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli. Don gina zurfin fahimta, kula da Hankalin Rukuni-Tambaya azaman ƙirar aiki, ba fasali ɗaya ba: ayyana sakamakon da ake so, fayyace zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu ke buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi ta yin amfani da Ƙira-Tambaya Ƙirar ƙira ta sa, dawo da, da sake duba madaukai azaman tsarin sadarwa mai haɗaka. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A lokaci guda, abubuwan da ba a iya gani ba na iya shigar da rahotanni cikin nutsuwa, kwararar goyan baya, ko abubuwan bincike. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
Llama 2 70B da Llama 3 suna amfani da GQA don yin aiki na dogon lokaci tare da ƙaramin cache na KV
Rage žwažwalwar ajiyar GPU don haka babban samfurin taɗi ya dace da ƴan ƙaranci ko rahusa accelerators
Ƙaddamar da haɓaka alamar-ta-alama a cikin samar da APIs inda KV-cache bandwidth shine ƙulli
Ba da damar girma dabam dabam don hidimar masu amfani da yawa lokaci guda ba tare da gajiyar ƙwaƙwalwar ajiya ba
Hanyoyin Aiwatarwa
Hankalin Rukuni-Tambaya a aikace
Llama 2 70B da Llama 3 suna amfani da GQA don yin hidimar dogon mahallin tare da ƙaramin cache na KV.
Llama 2 70B da Llama 3 suna amfani da GQA don yin aiki na dogon lokaci tare da ƙaramin KV cache Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefe, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Hankalin Rukuni-Tambaya a aikace
Rage žwažwalwar ajiyar GPU don haka babban samfurin taɗi ya dace da ƴan ƙaranci ko rahusa accelerators.
Rage ƙwaƙwalwar GPU don haka babban samfurin taɗi ya dace akan ƴan ƙaranci ko rahusa masu haɓaka ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suke ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefe, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Hankalin Rukuni-Tambaya a aikace
Ƙaddamar da haɓaka alamar-ta-alama a cikin samar da APIs inda KV-cache bandwidth shine ƙulli.
Ƙaddamar da ƙayyadaddun ƙayyadaddun alamar alama a cikin samar da APIs inda KV-cache bandwidth shine ƙananan ƙananan ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da kuma bin diddigin nasarorin yawan aiki da farashin kuskure akan lokaci.
Hankalin Rukuni-Tambaya a aikace
Ba da damar girma dabam dabam don hidimar masu amfani da yawa lokaci guda ba tare da gajiyar ƙwaƙwalwar ajiya ba.
Bayar da manyan nau'ikan batch don bautar da masu amfani da yawa lokaci guda ba tare da gajiyawar ƙwaƙwalwar ajiya Ƙungiyoyin yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Hatsari & Tsare-tsare
Abubuwan da aka ruɗe suna iya shigar da rahotanni cikin nutsuwa, kwararar tallafi, ko abubuwan bincike.
Hankali na gaggawa na iya ƙirƙirar sakamako mara daidaituwa a cikin buƙatun iri ɗaya.
Za a iya fallasa bayanan rubutu mai ma'ana idan ikon samun dama yana da rauni.
Taswirar Hanya
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa.
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.