Résumé
Interpolation positionnelle (PI) xarala bu yomb la, am doole buy yokk palanteeru contexte Transformateur ci di tas indices position yu bees ci biir rang bi model bi xamoon ba pare. Du extrapoler ci position yuñu gisul, waaye dafay interpoler ci biir position yuñ tàggat, te soxlawul ludul ay fine-tuning yu gàtt.
Interpolaasioŋ positional ngir muy tekki lu yàgg, jumtukaay la buy tabax xarala yu am njeexital ci kalite model bi, njëgu infrastructure bi, latency bi, ak wóor ci eskaal bi.
Plongeur bu xóot
Meta gëstukat yi (Chen et al.) ñoo ko dugal ci 2023, muy wax ci ni model yi am RoPE dañuy lajj bu baax suñu leen jëlee ci position yu weesu tàggat. Gis-gis bi amul benn werante: ludul laaj model bi mu jëfandikoo valeur position yu gëna mag yu mu musul gis, PI dafay xaaj indices position yiy dugg ci facteur scale suko defee guddaay biñ bëgga wax, wax, 8K maps dellu ci 2K bi njëkk. Ndax model bi dañu ko tàggat ci rang boobu, rotation yi dañuy des ci distribution bi. Ginaaw 1000 jéego yu baax, benn xeetu LLaMA dafa yokk ci anam wii ñu mëna jëfandikoo ba ci 32K context. Këyit dafa wane ni extrapolation mën na yokk poñ yi ñuy bàyyi xel ci valeur yu bari, waaye interpolation daf leen di tëye, moo tax interpolation di gëna mëna liggéey extrapolation.
Gis-gis xarala
PI dafay soppi position m ci m/s fu s nekk facteur extension (lu melni, guddaay bu bees xaaj guddaay bu njëkk bi). Ci RoPE loolu dafay wàññi bu baax jéego yi ci wëréelu diggante position yi ci wetam, muy gëna yokk position yi ci rang angular biñ tàggat. Teori biñu tënk ci këyit bi dafay wane ni poñ yiñ joxe ci bàyyi xel dañuy des ci anam wu baax, waaye extrapolation naïf mën na defar poñ yu gëna mag ci lépp luñu gis ci tàggat yaram, di destabiliser softmax.
Xam interpolaasioŋ posisioŋ ngir muy lu yàgg
Interpolation positionnelle (PI) xarala bu yomb la, am doole buy yokk palanteeru contexte Transformateur ci di tas indices position yu bees ci biir rang bi model bi xamoon ba pare. Du extrapoler ci position yuñu gisul, waaye dafay interpoler ci biir position yuñ tàggat, te soxlawul ludul ay fine-tuning yu gàtt. Interpolaasioŋ positional ngir muy tekki lu yàgg, jumtukaay la buy tabax xarala yu am njeexital ci kalite model bi, njëgu infrastructure bi, latency bi, ak wóor ci eskaal bi. Ngir tabax xam-xam bu xóot, jàppal Interpolation Positional for Long Context ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ba noppi tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo Interpolaasioŋ Posisionel ngir Kontekst bu gudd, dañuy gëna baaxal arsitektir, done, ak tànneefi infrastructure ci wàllu wóor ak njëg. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw. Ci jamano jooju, Optimisation benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.
Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Yaatalal ab xeetu LLaMA bu 2K ngir mëna jëfandikoo ay jeton 8K-32K ak luy tollu ci 1000 jéego
Defar ab xeetu waxtaan bu fi nekk ngir tënk ay këyit yu gudd te doo tàggataat ci noonu
Dafay nekk royuwaay bi NTK-aware scaling ak YaRN di gëna suqali
Aktiwise kodu kontekst bu gudd wala jàngat këyitu yoon ci model yiñ njëkka tàggat ci palanteer yu gàtt
Modèlu jëfandikoo
Interpolaasioŋ positionel ngir muy yàgg ci jëf
Yaatalal xeetu LLaMA bu am 2K ngir mëna jëfandikoo ay jeton 8K-32K ak luy tollu ci 1000 jéego yu baax.
Yaatalal benn xeetu LLaMA 2K-context ngir jëfandikoo 8K-32K tokens ak lu tollu ci 1,000 jéego yu baax. Ekip yi dañuy faral di am njariñ yu gëna baax suñu leeralee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Interpolaasioŋ positionel ngir muy yàgg ci jëf
Defar xeetu waxtaan bu fi nekk ngir tënk dokimaa yu gudd te doo tàggataat ci noonu rek.
Defar ab xeetu chat bu nekk ngir ab summary dokimaa yu guddu te doo defaraat ci noonu ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bu gàtt.
Interpolaasioŋ positionel ngir muy yàgg ci jëf
Dina nekk royuwaay bi NTK-aware scaling ak YaRN di gëna suqali.
Liggéeyukaay ci xalaat bi NTK-aware scaling ak YaRN gëna mëna yokk ci kaw Teams yi dañuy faral di am njariñ yu gëna baax suñu leeralee thresholds yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Interpolaasioŋ positionel ngir muy yàgg ci jëf
Aktiwise kodu kontekst bu gudd wala jàngat këyitu yoon ci model yiñ njëkka tàggat ci palanteer yu gàtt.
Kodu contexte bu gudd wala jàngat këyitu yoon ci model yiñ njëkka tàggat ak palanteer yu gàtt Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bi.
Risk yi ak balustrade yi
Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.
Roadmap ngir samp gi
Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Benchmark ci biir sargal ak done yu dëggu.
Benchmark ci biir sargal ak done yu dëggu. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.
Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.