GUIDA TECNICA

Interpolazione posizionale per contesto lungo

L'interpolazione posizionale (PI) è una tecnica semplice e influente che estende la finestra di contesto di un trasformatore inserendo nuovi indici di posizione nell'intervallo che il modello già conosce.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dell'interpolazione posizionale per contesti lunghi
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.

Immersione profonda

Introdotta dai ricercatori di Meta (Chen et al.) nel 2023, l'interpolazione posizionale affronta il fatto che i modelli con RoPE falliscono in modo catastrofico quando si estrapolano a posizioni oltre l'addestramento. L’intuizione è controintuitiva: invece di chiedere al modello di gestire valori di posizione più grandi che non abbia mai visto, PI divide gli indici di posizione in entrata per un fattore di scala in modo che una lunghezza target di, diciamo, 8K venga mappata nell’intervallo originale di 2K. Poiché il modello è stato addestrato su tale intervallo, le rotazioni rimangono nella distribuzione. Dopo soli 1.000 passaggi di messa a punto, un modello LLaMA esteso in questo modo ha gestito un contesto fino a 32K. Lo studio ha dimostrato che l’estrapolazione può far aumentare i punteggi di attenzione fino a valori enormi, mentre l’interpolazione li mantiene limitati e stabili, motivo per cui l’interpolazione funziona notevolmente meglio dell’estrapolazione.

Implementazione nel mondo reale

Estensione di un modello LLaMA con contesto 2K per gestire token da 8K a 32K con circa 1.000 passaggi di messa a punto

Adattamento di un modello di chat esistente per il riepilogo di documenti lunghi senza riqualificazione da zero

Funge da linea di base concettuale su cui migliorano il ridimensionamento compatibile con NTK e YaRN

Abilitazione del codice a contesto lungo o dell'analisi di documenti legali su modelli originariamente addestrati con finestre brevi

Il futuro dell'interpolazione posizionale per contesti lunghi

L'interpolazione posizionale è diventata la base per un'ondata di follow-up, tra cui il ridimensionamento compatibile con NTK e YaRN, che interpolano in modo più selettivo per preservare i dettagli locali. La traiettoria è verso metodi che necessitano di poca o nessuna messa a punto e verso l’integrazione della gestione del contesto lungo nella preformazione. La PI rimane una valida linea di base ed è spesso combinata con schemi più recenti in grado di riconoscere la frequenza per raggiungere in modo efficiente finestre di contesto di oltre 128.000.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Positional Interpolation for Long Context quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Positional Interpolation for Long Context?

L'interpolazione posizionale (PI) è una tecnica semplice e influente che estende la finestra di contesto di un trasformatore inserendo nuovi indici di posizione nell'intervallo che il modello già conosce. Invece di estrapolare posizioni invisibili, interpola all’interno di posizioni addestrate, richiedendo solo una breve messa a punto.

Qual è l'idea centrale dietro l'interpolazione posizionale?

PI divide gli indici di posizione in base a un fattore di scala in modo che le sequenze più lunghe vengano mappate nell'intervallo di posizioni addestrate, mantenendo le rotazioni nella distribuzione.

Perché l’estrapolazione ingenua a posizioni più lunghe fallisce?

Il documento PI ha mostrato che posizioni di grandi dimensioni invisibili possono produrre punteggi di attenzione di ordini di grandezza maggiori rispetto all'allenamento, destabilizzando il softmax.

All'incirca quanta messa a punto ha richiesto il lavoro PI originale per estendere LLaMA a 32K?

Il documento riportava che circa 1.000 passaggi di messa a punto erano sufficienti per estendere il contesto fino a 32.000 token.

Se estendi il contesto di un fattore s, come fa PI a trasformare una posizione m?

PI ridimensiona la posizione da m a m/s, comprimendo il nuovo intervallo più ampio nell'intervallo addestrato originale.

In che modo PI ha influenzato metodi successivi come YaRN?

PI ha stabilito che l'interpolazione fosse l'approccio sicuro; Il ridimensionamento compatibile con NTK e YaRN lo hanno perfezionato interpolando le frequenze in modo più selettivo.