Dubawa
YaRN (Har yanzu wani karin ropeN) wata dabara ce wacce ke shimfida tagar mahallin da za a iya amfani da ita fiye da abin da aka horar da shi, tare da mafi karancin daidaitawa. Yana da mahimmanci saboda yana ƙyale samfuran da ke akwai su sarrafa takardu masu tsayi da yawa ba tare da sake horarwa daga karce ba.
YaRN Context Window Scaling wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli.
Zurfafa nutsewa
Yawancin LLM na zamani suna ɓoye matsayi na kalmomi ta amfani da Rotary Position Embeddings (RoPE), wanda ke aiki da kyau har tsawon tsayin samfurin da aka gani yayin horo. Ciyarwa a cikin jerin tsayi mai tsayi kuma ƙirar ta ƙasƙanta da kyau. YaRN yana warware wannan ta hanyar sake daidaita mitocin jujjuyawar RoPE a cikin tafarki mai santsi: maɗaukaki masu girma (waɗanda ke ɗaukar alaƙar gida, da ke kusa) an bar su galibi ba a taɓa su ba, yayin da ƙananan mitoci (wanda ke ɗaukar matsayi mai tsayi) suna tsaka-tsaki. Hakanan yana ƙara daidaita yanayin zafi ga hankali don kiyaye kayan aiki da kyau a dogayen jeri. Sakamakon, wanda aka nuna akan ƙirar LLAMA, ya ƙaddamar da mahallin daga 4K zuwa 64K-128K alamomi ta amfani da kusan 0.1% na ainihin bayanan horo da ƙananan matakai masu kyau na ɗari.
Fahimtar Fasaha
RoPE yana jujjuya tambaya da maɓalli na maɓalli ta kwana daidai da matsayi da mitar kowane girma. Matsakaicin madaidaiciyar madaidaiciya (Matsayi Interpolation) yana lalata kowane mitoci daidai, yana cutar da cikakkun bayanai na gida. YaRN a maimakon haka yana amfani da 'NTK-by-parts': yana shiga tsaka-tsakin ƙananan mitoci (tsawon tsayin tsayi) kawai, yana barin manyan mitoci su kaɗai, kuma yana takure tsakanin su. Ƙwararren zafin hankali yana ramawa canjin entropy, yana kiyaye daidaito a tsayin tsayi.
Ƙwararren Ƙwararriyar Tagar Yanayin YaRN
YaRN (Har yanzu wani karin ropeN) wata dabara ce wacce ke shimfida tagar mahallin da za a iya amfani da ita fiye da abin da aka horar da shi, tare da mafi karancin daidaitawa. Yana da mahimmanci saboda yana ƙyale samfuran da ke akwai su sarrafa takardu masu tsayi da yawa ba tare da sake horarwa daga karce ba. YaRN Context Window Scaling wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli. Don gina zurfin fahimta, bi YaRN Context Window Scaling a matsayin samfurin aiki, ba fasali ɗaya ba: ayyana sakamakon da ake so, fayyace zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu yana buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi ta amfani da YaRN Context Window Scaling ƙira ta sa, dawo da, da sake duba madaukai azaman tsarin sadarwa mai haɗaka. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A lokaci guda, abubuwan da ba a iya gani ba na iya shigar da rahotanni cikin nutsuwa, kwararar goyan baya, ko abubuwan bincike. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
Ƙaddamar da samfurin LLAMA mai buɗewa daga 4K zuwa alamun 128K don haka zai iya shigar da cikakken codebase ko dogon kwangila a cikin fasfo ɗaya.
Barin chatbot ya riƙe dogon tarihin tattaunawa ba tare da yanke juyi da farko ba
Taƙaita takaddun tsayin littafi ko rubutattun sa'o'i da yawa waɗanda suka wuce tagar asali na asali.
Sauƙaƙe daidaita ƙirar da aka riga aka horar don ayyukan dawo da yanayi na dogon lokaci ta amfani da ƙaramar gudu mai kyau kawai.
Hanyoyin Aiwatarwa
Ƙididdigar Tagar Ma'anar YaRN a aikace
Ƙaddamar da samfurin LLAMA mai buɗewa daga 4K zuwa alamun 128K don haka zai iya shigar da gaba ɗaya codebase ko kwangila mai tsawo a cikin wucewa ɗaya.
Ƙaddamar da samfurin LLAMA mai buɗewa daga 4K zuwa alamun 128K don haka zai iya shigar da duk wani codebase ko kwangila mai tsawo a cikin fasfo ɗaya Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefe, da kuma bin duk abubuwan da aka samu na yawan aiki da farashin kuskure akan lokaci.
Ƙididdigar Tagar Ma'anar YaRN a aikace
Barin chatbot ya riƙe dogon tarihin tattaunawa ba tare da yanke juyi da farko ba.
Barin chatbot ya riƙe tarihin tattaunawa mai tsawo ba tare da yankewa a baya ba Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙima masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da tsadar kurakurai a kan lokaci.
Ƙididdigar Tagar Ma'anar YaRN a aikace
Taƙaita takaddun tsayin littafi ko rubutattun sa'o'i da yawa waɗanda suka wuce tagar asali na asali.
Taƙaita takaddun tsayin littattafai ko kwafi na sa'o'i da yawa waɗanda suka zarce tagar asali na asali Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Ƙididdigar Tagar Ma'anar YaRN a aikace
Mai rahusa daidaita ƙirar da aka riga aka horar don ayyukan dawo da yanayi mai nisa ta amfani da ƙaramar gudu mai kyau kawai.
Sauƙaƙe daidaita ƙirar da aka riga aka horar don ayyukan dawo da yanayi na dogon lokaci ta amfani da ƙaramin ƙaramar daidaitawa ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefe, da kuma bin diddigin nasarorin samarwa da tsadar kurakurai a kan lokaci.
Hatsari & Tsare-tsare
Abubuwan da aka ruɗe suna iya shigar da rahotanni cikin nutsuwa, kwararar tallafi, ko abubuwan bincike.
Hankali na gaggawa na iya ƙirƙirar sakamako mara daidaituwa a cikin buƙatun iri ɗaya.
Za a iya fallasa bayanan rubutu mai ma'ana idan ikon samun dama yana da rauni.
Taswirar Hanya
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa.
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.