InayofuataMwongozo unaofuata
Ufafanuzi wa Nafasi kwa Kiendelezi cha Muktadha
Lugha AI
MWONGOZO wa Kiufundi
Urefu wa Uzi na Muktadha
YaRN (Bado kiendelezi kingine cha RoPE) ni mbinu bora ya kunyoosha kidirisha cha muktadha kinachoweza kutumika zaidi ya kile kilichofunzwa.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Dive ya kina
LLM nyingi za kisasa husimba nafasi za tokeni kwa kutumia RoPE (Rotary Position Embeddings), ambayo huzungusha hoja na vidhibiti muhimu kwa pembe zilizofungwa kwenye nafasi. Unapolisha mfuatano mrefu kuliko urefu wa mafunzo, mizunguko hii huingia katika safu zisizoonekana na muundo huvunjika. YaRN, iliyoanzishwa mwaka wa 2023 na Bowen Peng na washirika, hurekebisha hili kwa ukalimani unaofahamu NTK unaotumika kwa kila mara kwa mara: huacha vipimo vya masafa ya juu (ambavyo hunasa uhusiano wa karibu, wa masafa mafupi) mara nyingi bila kuguswa huku ikiingiliana na vipimo vya masafa ya chini (ambavyo vinafuatilia nafasi ya masafa marefu). YaRN pia huongeza marekebisho ya halijoto kwa umakini ili kukabiliana na mabadiliko ya entropy yanayotokana na miktadha mirefu. Matokeo yake ni utendakazi thabiti wa muktadha mrefu baada ya kusawazisha sehemu ndogo tu ya data na hatua ambazo mbinu za ujinga zinahitaji.
Utekelezaji wa Ulimwengu Halisi
Kupanua muundo wa muktadha wa 4K hadi 32K au 128K kwa kujibu swali la hati ndefu kwa kurekebisha kwa ufupi.
Kuwezesha mifumo iliyoboreshwa ya kurejesha ili kumeza vifungu vingi vilivyounganishwa bila kukatwa.
Visaidizi vya msimbo wa kuwasha ambavyo vinahitaji faili kubwa ya hazina au faili nyingi kwa haraka moja
Kurekebisha muundo msingi wa mazungumzo marefu ya pande nyingi ambayo hukusanya historia kubwa ya gumzo
Mustakabali wa Urefu wa Uzi na Muktadha wa Kiendelezi
Upanuzi wa muktadha sasa ni mazoezi ya kawaida: miundo iliyofunguliwa mara kwa mara husafirisha vibadala vilivyopanuliwa vya YaRN vinavyofikia tokeni 128K au zaidi. Utafiti unaelekea kwenye mbinu zinazopanua muktadha kwa urekebishaji laini wa sifuri au karibu-sifuri, kuchanganya uwekaji upya wa RoPE na mbinu za muundo wa makini, na kudumisha ubora kwenye dirisha kamili badala ya miisho tu. Tarajia muunganisho mkali zaidi wa mbinu hizi katika mafunzo ya awali ili muktadha mrefu uwe wa asili badala ya kurekebishwa.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the YaRN and Context Length Extension quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is YaRN and Context Length Extension?
YaRN (Bado kiendelezi kingine cha RoPE) ni mbinu bora ya kunyoosha kidirisha cha muktadha kinachoweza kutumika zaidi ya kile kilichofunzwa. Kwa ustadi huondoa upachikaji wa nafasi za mzunguko ili muundo uliofunzwa, tuseme, tokeni za 4K zinaweza kushughulikia 32K au zaidi kwa urekebishaji mdogo.
Ni njia gani ya usimbaji nafasi ambayo YaRN hurekebisha ili kupanua muktadha?
YaRN, ambayo jina lake linamaanisha Bado upanuzi mwingine wa Kamba, huondoa upachikaji wa nafasi za mzunguko unaotumiwa katika LLM nyingi za kisasa.
Ni nini kinachoharibika wakati mfano wa RoPE unapoona mlolongo mrefu kuliko urefu wake wa mafunzo?
Vyeo zaidi ya mafunzo hutoa pembe za mzunguko ambazo mtindo haujawahi kuona, kwa hivyo tabia ya umakini hudhoofisha sana.
Je, YaRN hushughulikia vipi vipimo tofauti vya masafa ya RoPE?
YaRN hutumia njia panda ya NTK-kwa-sehemu ambayo huingiliana na kufifisha kwa masafa marefu ya urefu wa mawimbi na kuacha mwangaza wa masafa mafupi mara nyingi ukiwa sawa.
Kando na kuongeza kasi ya masafa, YaRN inatumika marekebisho gani ya ziada?
YaRN huongeza viwango vya joto kwenye kumbukumbu za umakini ili kukabiliana na mabadiliko ya entropy yanayotokea kadiri muktadha unavyokua.
Je, ni faida gani muhimu ya kiutendaji ya Uzi juu ya ufasiri wa kipuuzi?
YaRN hufikia ubora thabiti wa muktadha mrefu baada ya kusawazisha sehemu ndogo ya mbinu za ujinga za data zinazohitaji.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii