āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļŦāļāđāļēāļāđāļēāļāļāļĢāļīāļāļ
āļ āļēāļĐāļēāđāļāđāļ
āļāļđāđāļĄāļ·āļ AI āļ āļēāļĐāļē
YaRN extends RoPE-based context through frequency-aware scaling and an attention-temperature adjustment.
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
Its experiments demonstrate model extensions with limited additional training, with useful performance and resource costs still requiring evaluation.
Uniform Position Interpolation compresses all RoPE frequencies together. YaRN instead preserves high-frequency dimensions used for local positional detail, interpolates low-frequency dimensions for broader range, and blends treatment through a transition region. It also modifies attention temperature as part of the extension method. The paper evaluates long-context adaptations of particular models; its reported data and training-step comparisons should not be converted into a universal tiny-data guarantee. Increasing the supported length does not show that every task is solved reliably at every position. Evaluate the chosen model, adaptation, and intended workload rather than assuming that any rescaled checkpoint has the same capability.
āļāļēāļĢāļāļĒāļēāļĒāđāļĄāđāļāļĨ LLaMA āđāļāļāđāļāļīāļāļāļēāļāđāļāđāļāđāļ 4K āđāļāđāļ 128K āđāļāļ·āđāļāđāļŦāđāļŠāļēāļĄāļēāļĢāļāļāļģāđāļāđāļēāđāļāđāļāđāļāļŠāļāļąāđāļāļŦāļĄāļāļŦāļĢāļ·āļāļŠāļąāļāļāļēāļĢāļ°āļĒāļ°āļĒāļēāļ§āđāļāđāđāļāļāļĢāļąāđāļāđāļāļĩāļĒāļ§
āļāļĨāđāļāļĒāđāļŦāđāđāļāļāļāļāļāđāļāđāļāļāļĢāļ°āļ§āļąāļāļīāļāļēāļĢāļŠāļāļāļāļēāļāļĩāđāļĒāļēāļ§āļĄāļēāļāđāļāļĒāđāļĄāđāļāļąāļāļāļāļāļĢāļāļāļāđāļāļāļŦāļāđāļē
āļāļēāļĢāļŠāļĢāļļāļāđāļāļāļŠāļēāļĢāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāļĒāļēāļ§āļāļēāļĄāļŦāļāļąāļāļŠāļ·āļāļŦāļĢāļ·āļāļāļēāļĢāļāļāļāđāļŠāļĩāļĒāļāļŦāļĨāļēāļĒāļāļąāđāļ§āđāļĄāļāļāļĩāđāđāļāļīāļāļŦāļāđāļēāļāđāļēāļāļāļąāđāļāđāļāļīāļĄāļāļāļāđāļĄāđāļāļĨāļāļ·āđāļāļāļēāļ
āļāļēāļĢāļāļĢāļąāļāđāļĄāđāļāļĨāļāļĩāđāđāļāđāļĢāļąāļāļāļēāļĢāļāļķāļāļĨāđāļ§āļāļŦāļāđāļēāđāļāļĢāļēāļāļēāļāļĢāļ°āļŦāļĒāļąāļāļŠāļģāļŦāļĢāļąāļāļāļēāļāļāļķāļāļāđāļāļĄāļđāļĨāļāļĢāļīāļāļāđāļāļāļĒāļēāļ§āđāļāļĒāđāļāđāļāļēāļĢāļāļĢāļąāļāđāļāđāļāđāļāļāļĨāļ°āđāļāļĩāļĒāļāđāļāļĩāļĒāļāđāļĨāđāļāļāđāļāļĒ
Research compares positional methods, training schedules, and long-context tasks. Measure retrieval and generation quality across positions and lengths together with latency and memory. Nominal support, a good average score, and dependable use on a particular task are different forms of evidence, so a new maximum window should be evaluated in context.
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
YaRN extends RoPE-based context through frequency-aware scaling and an attention-temperature adjustment. Its experiments demonstrate model extensions with limited additional training, with useful performance and resource costs still requiring evaluation.
YaRN āļĒāđāļāļĄāļēāļāļēāļ 'Yet another RoPE extensioN' āđāļĨāļ°āļāļģāļāļēāļāđāļāļĒāļāļēāļĢāļĨāļāļāļāļēāļāļāļ§āļēāļĄāļāļĩāđāļāļēāļĢāļŦāļĄāļļāļāļāļĩāđāđāļāđāđāļāļāļēāļĢāļāļąāļāļāļģāđāļŦāļāđāļāđāļāļāļŦāļĄāļļāļ
āļ§āļīāļāļĩāļāļēāļĢ 'NTK-by-parts' āļāļāļ YaRN āļāļ°āļĢāļąāļāļĐāļēāļĄāļīāļāļīāļāļ§āļēāļĄāļāļĩāđāļŠāļđāļ (āđāļāļāļēāļ°āļāļĩāđ) āļāļāļ°āđāļāļĩāļĒāļ§āļāļąāļāļāđāļŠāļāļāđāļāļĢāļāļāļ§āļēāļĄāļāļĩāđāļāđāļģ (āļĢāļ°āļĒāļ°āđāļāļĨ) āđāļāļ·āđāļāļŦāļĨāļĩāļāđāļĨāļĩāđāļĒāļāđāļĄāđāđāļŦāđāļĢāļēāļĒāļĨāļ°āđāļāļĩāļĒāļāđāļāļāļ·āđāļāļāļĩāđāđāļŠāļĩāļĒāļŦāļēāļĒ
The method's efficiency claims have an experimental scope and depend on model and adaptation choices.
YaRN āļāļĢāļąāļāđāļāļĨāļĩāđāļĒāļāļāļļāļāļŦāļ āļđāļĄāļīāļāļ§āļēāļĄāļŠāļāđāļāđāļāļ·āđāļāļāļāđāļāļĒāļāļēāļĢāđāļāļĨāļĩāđāļĒāļāđāļāļĨāļāđāļāļāđāļāļĢāļāļĩ/āđāļĨāļāļīāļāļāļĩāđāđāļāļīāļāļāļķāđāļāđāļĄāļ·āđāļāļĨāļģāļāļąāļāđāļāđāđāļ§āļĨāļēāļāļēāļāļāļ§āđāļēāļĄāļēāļ
Extension quality is a model- and task-dependent question rather than an automatic consequence of accepting more tokens.
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļŦāļāđāļēāļāđāļēāļāļāļĢāļīāļāļ
āļ āļēāļĐāļēāđāļāđāļ