Urefu wa Uzi na Muktadha
YaRN (Bado kiendelezi kingine cha RoPE) ni mbinu bora ya kunyoosha kidirisha cha muktadha kinachoweza kutumika zaidi ya kile kilichofunzwa.
Muhtasari
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Dive ya kina
LLM nyingi za kisasa husimba nafasi za tokeni kwa kutumia RoPE (Rotary Position Embeddings), ambayo huzungusha hoja na vidhibiti muhimu kwa pembe zilizofungwa kwenye nafasi. Unapolisha mfuatano mrefu kuliko urefu wa mafunzo, mizunguko hii huingia katika safu zisizoonekana na muundo huvunjika. YaRN, iliyoanzishwa mwaka wa 2023 na Bowen Peng na washirika, hurekebisha hili kwa ukalimani unaofahamu NTK unaotumika kwa kila mara kwa mara: huacha vipimo vya masafa ya juu (ambavyo hunasa uhusiano wa karibu, wa masafa mafupi) mara nyingi bila kuguswa huku ikiingiliana na vipimo vya masafa ya chini (ambavyo vinafuatilia nafasi ya masafa marefu). YaRN pia huongeza marekebisho ya halijoto kwa umakini ili kukabiliana na mabadiliko ya entropy yanayotokana na miktadha mirefu. Matokeo yake ni utendakazi thabiti wa muktadha mrefu baada ya kusawazisha sehemu ndogo tu ya data na hatua ambazo mbinu za ujinga zinahitaji.
Ufahamu wa Kiufundi
RoPE inapeana kila kipimo cha upachikaji masafa ya mzunguko. Ufafanuzi wa mstari usiojua hubana masafa yote kwa usawa, na kudhuru vipimo vya masafa ya juu ambavyo husimba maelezo mafupi ya ndani. YaRN hutumia kitendakazi cha njia panda kuingiliana tu vipimo vya masafa ya chini (refu-wavelength) huku kikihifadhi za masafa ya juu, pamoja na kipimo cha joto cha 1/sqrt(t) cha umakini ambacho huweka ukali wa softmax thabiti kadiri urefu wa mfuatano unavyoongezeka. Mbinu hii ya NTK-kwa-sehemu huongeza muktadha kwa uharibifu mdogo sana.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Urefu wa Uzi na Muktadha wa Kiendelezi
Upanuzi wa muktadha sasa ni mazoezi ya kawaida: miundo iliyofunguliwa mara kwa mara husafirisha vibadala vilivyopanuliwa vya YaRN vinavyofikia tokeni 128K au zaidi. Utafiti unaelekea kwenye mbinu zinazopanua muktadha kwa urekebishaji laini wa sifuri au karibu-sifuri, kuchanganya uwekaji upya wa RoPE na mbinu za muundo wa makini, na kudumisha ubora kwenye dirisha kamili badala ya miisho tu. Tarajia muunganisho mkali zaidi wa mbinu hizi katika mafunzo ya awali ili muktadha mrefu uwe wa asili badala ya kurekebishwa.
Utekelezaji wa Ulimwengu Halisi
Kupanua muundo wa muktadha wa 4K hadi 32K au 128K kwa kujibu swali la hati ndefu kwa kurekebisha kwa ufupi.
Kuwezesha mifumo iliyoboreshwa ya kurejesha ili kumeza vifungu vingi vilivyounganishwa bila kukatwa.
Visaidizi vya msimbo wa kuwasha ambavyo vinahitaji faili kubwa ya hazina au faili nyingi kwa haraka moja
Kurekebisha muundo msingi wa mazungumzo marefu ya pande nyingi ambayo hukusanya historia kubwa ya gumzo
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN and Context Length Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Ufafanuzi wa Nafasi kwa Kiendelezi cha Muktadha
Maswali yanayoulizwa mara kwa mara
What is YaRN and Context Length Extension?
YaRN (Bado kiendelezi kingine cha RoPE) ni mbinu bora ya kunyoosha kidirisha cha muktadha kinachoweza kutumika zaidi ya kile kilichofunzwa. Kwa ustadi huondoa upachikaji wa nafasi za mzunguko ili muundo uliofunzwa, tuseme, tokeni za 4K zinaweza kushughulikia 32K au zaidi kwa urekebishaji mdogo.
Ni njia gani ya usimbaji nafasi ambayo YaRN hurekebisha ili kupanua muktadha?
YaRN, ambayo jina lake linamaanisha Bado upanuzi mwingine wa Kamba, huondoa upachikaji wa nafasi za mzunguko unaotumiwa katika LLM nyingi za kisasa.
Ni nini kinachoharibika wakati mfano wa RoPE unapoona mlolongo mrefu kuliko urefu wake wa mafunzo?
Vyeo zaidi ya mafunzo hutoa pembe za mzunguko ambazo mtindo haujawahi kuona, kwa hivyo tabia ya umakini hudhoofisha sana.
Je, YaRN hushughulikia vipi vipimo tofauti vya masafa ya RoPE?
YaRN hutumia njia panda ya NTK-kwa-sehemu ambayo huingiliana na kufifisha kwa masafa marefu ya urefu wa mawimbi na kuacha mwangaza wa masafa mafupi mara nyingi ukiwa sawa.
Kando na kuongeza kasi ya masafa, YaRN inatumika marekebisho gani ya ziada?
YaRN huongeza viwango vya joto kwenye kumbukumbu za umakini ili kukabiliana na mabadiliko ya entropy yanayotokea kadiri muktadha unavyokua.
Je, ni faida gani muhimu ya kiutendaji ya Uzi juu ya ufasiri wa kipuuzi?
YaRN hufikia ubora thabiti wa muktadha mrefu baada ya kusawazisha sehemu ndogo ya mbinu za ujinga za data zinazohitaji.