Dubawa
Ƙididdigar Lookhead yana haɓaka tsarar LLM ba tare da wani ƙarin daftarin ƙira ba ta hanyar ƙididdigewa da kuma tabbatar da alamu masu yawa na gaba a layi daya ta amfani da n-grams da ƙirar ke haifarwa akan tashi. Yana karya ƙaƙƙarfan ƙaƙƙarfan alama ɗaya-a-lokaci.
Ƙididdigar Lookhead wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli.
Zurfafa nutsewa
Masu bincike ne suka gabatar da su a UC Berkeley a cikin 2023, duban kai yana ƙara haɓaka ƙima ta amfani da ƙirar da aka yi niyya kawai - babu samfuri na biyu kuma babu horo na taimako. Yana sake tsara tsarawa azaman warware tsarin daidaitawa mara tushe ta amfani da hanyar layi daya da ake kira Jacobi iteration. A kowane mataki samfurin yana gudanar da rassa guda biyu lokaci guda: reshen 'lookahead' wanda ke daidaita ƙididdiga don muƙamai masu yawa na gaba a layi daya, da kuma reshen 'tabbaci' wanda ke bincika manyan n-grams masu alamar alama da aka tattara a cikin tafkin. Tabbatar da n-grams waɗanda samfurin ya yarda da su ana yin su gaba ɗaya, don haka ana iya karɓar alamu da yawa kowane mataki. Saboda ya dogara ne kawai da tsarin wucewar nasa na gaba, fitarwa ya kasance daidai abin da ƙima ko ƙididdigewa samfurin zai haifar, tare da rage adadin matakan da ake buƙata.
Fahimtar Fasaha
Babban ra'ayin yana aro Jacobi/Gauss-Seidel ƙayyadaddun ma'auni mai kayyadaddun bayanai: autoregressive decoding ana kula da shi azaman gano ƙayyadadden batu na taswirar ƙirar akan taga alamun gaba. Hasashe daidai-da-wane ana sabunta su akai-akai, kuma wurin tafki na n-gram yana adana jerin lamurra masu ma'ana da aka gani yayin waɗannan gyare-gyare. Tabbatarwa yana tabbatar da ko kowane n-gram da aka adana ya dace da ainihin abubuwan da aka fitar na samfurin na gaba, yana barin alamu da yawa su ci gaba a wucewa ɗaya ba tare da keɓantaccen hanyar sadarwa ba.
Ƙwararren Ƙwararrun Ƙididdiga
Ƙididdigar Lookhead yana haɓaka tsarar LLM ba tare da wani ƙarin daftarin ƙira ba ta hanyar ƙididdigewa da kuma tabbatar da alamu masu yawa na gaba a layi daya ta amfani da n-grams da ƙirar ke haifarwa akan tashi. Yana karya ƙaƙƙarfan ƙaƙƙarfan alama ɗaya-a-lokaci. Ƙididdigar Lookhead wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli. Don gina zurfafa fahimta, bi Lookahead Decoding azaman ƙirar aiki, ba fasali ɗaya ba: ayyana sakamakon da ake so, fayyace zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu ke buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi suna amfani da ƙirar ƙira na Lookahead yana sawa, dawo da, da sake duba madaukai azaman tsarin sadarwar haɗin gwiwa ɗaya. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A lokaci guda, abubuwan da ba a iya gani ba na iya shigar da rahotanni cikin nutsuwa, kwararar goyan baya, ko abubuwan bincike. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
Gudanar da kai da buɗaɗɗen ƙira kamar Llama ko Vicuna tare da jinkiri cikin sauri ba tare da horo ko loda kowane samfurin daftarin aiki ba.
Rage adadin matakan ɓata lokaci-lokaci don tsarawa na dogon lokaci kamar rubutu ko lamba, inda flops ke da yawa amma matakai sune cikas.
Haɗin kai cikin ɗakunan karatu (sakin na asali ya aika da aiwatarwa mai dacewa da FlashAttention) don haɓaka kayan aiki akan GPUs masu wanzuwa.
Ƙaddamar da kayan aikin da ba a yi amfani da su ba da sauri ta hanyar siyar da ƙarin lissafin layi ɗaya don ƙarancin ƙirar ƙira.
Hanyoyin Aiwatarwa
Lookhead Decoding a aikace
Gudanar da kai da buɗaɗɗen ƙira kamar Llama ko Vicuna tare da jinkiri cikin sauri ba tare da horo ko loda kowane samfurin daftarin aiki ba.
Bayar da kai samfurin buɗe ido kamar Llama ko Vicuna tare da jinkirin sauri ba tare da horo ko ɗaukar kowane daftarin samfurin Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da kuma bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Lookhead Decoding a aikace
Rage adadin matakan ɓata lokaci-lokaci don tsarawa na dogon lokaci kamar rubutu ko lamba, inda flops ke da yawa amma matakai sune cikas.
Rage adadin matakan ƙididdige matakan ƙira don tsarawa na dogon lokaci kamar kasidu ko lamba, inda flops ke da yawa amma matakai ne Ƙungiyoyin ƙuruciya yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Lookhead Decoding a aikace
Haɗin kai cikin ɗakunan karatu (sakin na asali ya aika da aiwatarwa mai dacewa da FlashAttention) don haɓaka kayan aiki akan GPUs masu wanzuwa.
Haɗin kai cikin ɗakunan karatu na ƙididdiga (sakin asali ya aika da aiwatar da jituwa mai jituwa na FlashAttention) don haɓaka kayan aiki akan ƙungiyoyin GPUs na yau da kullun suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefe, da bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Lookhead Decoding a aikace
Ƙaddamar da kayan aikin da ba a yi amfani da su ba da sauri ta hanyar siyar da ƙarin lissafin layi ɗaya don ƙarancin ƙirar ƙira.
Ƙaddamar da ƙaddamar da sabis akan kayan aikin da ba a yi amfani da su ba ta hanyar cinikin ƙarin lissafin layi ɗaya don ƙarancin ƙirar ƙira Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da farashi na kuskure akan lokaci.
Hatsari & Tsare-tsare
Abubuwan da aka ruɗe suna iya shigar da rahotanni cikin nutsuwa, kwararar tallafi, ko abubuwan bincike.
Hankali na gaggawa na iya ƙirƙirar sakamako mara daidaituwa a cikin buƙatun iri ɗaya.
Za a iya fallasa bayanan rubutu mai ma'ana idan ikon samun dama yana da rauni.
Taswirar Hanya
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa.
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.