Dubawa
YaRN (Har yanzu wani karin RoPE) wata ingantacciyar dabara ce don shimfida tagar mahallin abin amfani da samfurin fiye da abin da aka horar da shi. Yana da wayo yana sake daidaita abubuwan sakawa na jujjuya don haka ƙirar da aka horar da ita, a ce, alamun 4K na iya ɗaukar 32K ko fiye tare da ƙaramin daidaitawa.
YaRN da Tsawon Tsawon Ma'ana shine tubalin ginin fasaha wanda ke shafar ingancin samfuri, farashin kayayyakin more rayuwa, latency, da aminci a sikeli.
Zurfafa nutsewa
Yawancin LLMs na zamani suna ɓoye matsayi na alama tare da RoPE (Rotary Position Embeddings), wanda ke juya tambaya da maɓalli na maɓalli ta kusurwoyi masu ɗaure zuwa matsayi. Lokacin da kuke ciyar da jeri fiye da tsayin horo, waɗannan jujjuyawar suna shigar da kewayon da ba a gani kuma ƙirar ta rushe. YaRN, wanda Bowen Peng da masu haɗin gwiwa suka gabatar a cikin 2023, yana gyara wannan tare da NTK-sane interpolation da ake amfani da shi a kowace mita: yana barin maɗaukaki masu girma (waɗanda ke kama alaƙar gida, ɗan gajeren zango) galibi waɗanda ba a taɓa su ba yayin da ke haɗa ƙananan mitoci (wanda ke bin matsayi mai tsayi). YaRN kuma yana ƙara daidaita yanayin zafi zuwa hankali don magance canje-canjen entropy waɗanda ke fitowa daga wurare masu tsayi. Sakamakon yana da ƙarfin aiki na dogon lokaci bayan daidaitawa akan ƙaramin juzu'i na bayanai da matakan da hanyoyin butulci ke buƙata.
Fahimtar Fasaha
RoPE yana sanya kowane girman abin haɗawa mitar juyawa. Matsakaicin madaidaiciyar madaidaiciya yana damfara duk mitoci daidai-da-wane, yana cutar da maɗaukakin mitoci waɗanda ke ɓoye cikakkun bayanai na gida. YaRN yana amfani da aikin ramp ɗin don haɗawa kawai ƙananan mitoci (tsawon tsayin tsayi) yayin da yake adana manyan mitoci, da 1/sqrt (t) yanayin zafin hankali wanda ke kiyaye kaifi mai laushi mai laushi kamar yadda tsayin jeri ke girma. Wannan tsarin NTK-da-ɓangarorin yana faɗaɗa mahallin tare da ƙarancin lalacewa.
Jagorar YaRN da Tsawon Tsawon Ma'anar
YaRN (Har yanzu wani karin RoPE) wata ingantacciyar dabara ce don shimfiɗa tagar mahallin samfurin da za a iya amfani da shi fiye da abin da aka horar da shi. Yana da wayo yana sake daidaita abubuwan sakawa na jujjuya don haka ƙirar da aka horar da ita, a ce, alamun 4K na iya ɗaukar 32K ko fiye tare da ƙaramin daidaitawa. YaRN da Tsawon Tsawon Ma'ana shine tubalin ginin fasaha wanda ke shafar ingancin samfuri, farashin kayayyakin more rayuwa, latency, da aminci a sikeli. Don gina zurfin fahimta, bi da YaRN da Tsawon Tsawon Mahimmanci azaman samfurin aiki, ba sifa ɗaya ba: ayyana sakamakon da ake so, fayyace zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu yana buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi da ke amfani da YaRN da Tsawon Tsawon Tsawon yanayi suna haɓaka gine-gine, bayanai, da zaɓin abubuwan more rayuwa akan dogaro da farashi. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Hukunce-hukuncen gine-gine suna haifar da aiki da tsadar aiki na shekaru. A lokaci guda, Haɓaka ma'auni ɗaya na iya ɓoye manyan raunin tsarin. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Hukunce-hukuncen gine-gine suna haifar da aiki da tsadar aiki na shekaru.
Hukunce-hukuncen gine-gine suna haifar da aiki da tsadar aiki na shekaru. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ilimin fasaha yana taimaka wa ƙungiyoyi su zaɓi tari mai kyau, ba kawai sabon abu ba.
Ilimin fasaha yana taimaka wa ƙungiyoyi su zaɓi tari mai kyau, ba kawai sabon abu ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Zaɓuɓɓukan injiniya mafi kyau suna rage abin dogaro a cikin samarwa.
Zaɓuɓɓukan injiniya mafi kyau suna rage abin dogaro a cikin samarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
Ƙaddamar da buɗaɗɗen ƙirar yanayi na 4K zuwa 32K ko 128K don doguwar tambaya ta amsa tare da taƙaitaccen daidaitawa.
Ba da damar sake dawo da tsarin da aka haɓaka don shigar da wurare da yawa da aka haɗa ba tare da yanke ba.
Ƙaddamar da mataimakan lamba waɗanda ke buƙatar gabaɗayan babban fayil ɗin ma'ajiya ko fayiloli da yawa a cikin hanzari ɗaya
Daidaita ƙirar tushe don dogon tattaunawa mai juyi da yawa waɗanda ke tara manyan tarihin taɗi
Hanyoyin Aiwatarwa
YaRN da Tsawon Tsawon yanayi a aikace
Ƙaddamar da buɗaɗɗen ƙirar yanayin yanayi na 4K zuwa 32K ko 128K don doguwar tambaya ta takarda tare da taƙaitaccen daidaitawa.
Ƙaddamar da samfurin yanayi na 4K mai buɗewa zuwa 32K ko 128K don tambayoyin takarda mai tsawo da ke amsawa tare da taƙaitaccen ƙungiyoyi masu gyarawa yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da kuma bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
YaRN da Tsawon Tsawon yanayi a aikace
Ba da damar sake dawo da tsarin da aka haɓaka don shigar da wurare da yawa da aka tattara ba tare da yanke ba.
Ba da damar sake dawo da tsarin don shigar da sassa daban-daban ba tare da guntuwar ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
YaRN da Tsawon Tsawon yanayi a aikace
Ƙaddamar da mataimakan lamba waɗanda ke buƙatar gabaɗayan babban fayil ɗin ma'ajiya ko fayiloli da yawa a cikin hanzari ɗaya.
Ƙaddamar da mataimakan lambar da ke buƙatar babban fayil ɗin ajiya ko fayiloli da yawa a cikin hanzari guda ɗaya Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da ƙimar kuskure a kan lokaci.
YaRN da Tsawon Tsawon yanayi a aikace
Daidaita ƙirar tushe don dogon tattaunawa mai juyi da yawa waɗanda ke tara manyan tarihin taɗi.
Daidaita ƙirar tushe don dogon tattaunawa mai juyi da yawa waɗanda ke tara manyan tarihin taɗi Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙima masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da ƙimar kuskure a kan lokaci.
Hatsari & Tsare-tsare
Haɓaka ma'auni ɗaya na iya ɓoye manyan raunin tsarin.
Sau da yawa ana raina kayan more rayuwa da kuma kuɗin kulawa.
Tsaro da gibin lura na iya girma yayin da tsarin ke ƙara haɓaka.
Taswirar Hanya
Ƙayyade latency, inganci, da maƙasudin farashi kafin aiwatarwa.
Ƙayyade latency, inganci, da maƙasudin farashi kafin aiwatarwa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Alamar ma'auni a ƙarƙashin ainihin kaya da yanayin bayanai.
Alamar ma'auni a ƙarƙashin ainihin kaya da yanayin bayanai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Kula da kayan aiki don kurakurai, ɗigo, da tasirin mai amfani.
Kula da kayan aiki don kurakurai, ɗigo, da tasirin mai amfani. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Shirya bijirowa da hanyoyin mayar da martani kafin sikeli.
Shirya bijirowa da hanyoyin mayar da martani kafin sikeli. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.