Il prossimoProssima guida
Interpolazione della posizione per l'estensione del contesto
Intelligenza artificiale linguistica
GUIDA TECNICA
L'interpolazione posizionale (PI) è una tecnica semplice e influente che estende la finestra di contesto di un trasformatore inserendo nuovi indici di posizione nell'intervallo che il modello già conosce.
Ascolta questa guidaNarrato dall'IA · ~2 min
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
Introdotta dai ricercatori di Meta (Chen et al.) nel 2023, l'interpolazione posizionale affronta il fatto che i modelli con RoPE falliscono in modo catastrofico quando si estrapolano a posizioni oltre l'addestramento. L’intuizione è controintuitiva: invece di chiedere al modello di gestire valori di posizione più grandi che non abbia mai visto, PI divide gli indici di posizione in entrata per un fattore di scala in modo che una lunghezza target di, diciamo, 8K venga mappata nell’intervallo originale di 2K. Poiché il modello è stato addestrato su tale intervallo, le rotazioni rimangono nella distribuzione. Dopo soli 1.000 passaggi di messa a punto, un modello LLaMA esteso in questo modo ha gestito un contesto fino a 32K. Lo studio ha dimostrato che l’estrapolazione può far aumentare i punteggi di attenzione fino a valori enormi, mentre l’interpolazione li mantiene limitati e stabili, motivo per cui l’interpolazione funziona notevolmente meglio dell’estrapolazione.
Estensione di un modello LLaMA con contesto 2K per gestire token da 8K a 32K con circa 1.000 passaggi di messa a punto
Adattamento di un modello di chat esistente per il riepilogo di documenti lunghi senza riqualificazione da zero
Funge da linea di base concettuale su cui migliorano il ridimensionamento compatibile con NTK e YaRN
Abilitazione del codice a contesto lungo o dell'analisi di documenti legali su modelli originariamente addestrati con finestre brevi
L'interpolazione posizionale è diventata la base per un'ondata di follow-up, tra cui il ridimensionamento compatibile con NTK e YaRN, che interpolano in modo più selettivo per preservare i dettagli locali. La traiettoria è verso metodi che necessitano di poca o nessuna messa a punto e verso l’integrazione della gestione del contesto lungo nella preformazione. La PI rimane una valida linea di base ed è spesso combinata con schemi più recenti in grado di riconoscere la frequenza per raggiungere in modo efficiente finestre di contesto di oltre 128.000.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'interpolazione posizionale (PI) è una tecnica semplice e influente che estende la finestra di contesto di un trasformatore inserendo nuovi indici di posizione nell'intervallo che il modello già conosce. Invece di estrapolare posizioni invisibili, interpola all’interno di posizioni addestrate, richiedendo solo una breve messa a punto.
PI divide gli indici di posizione in base a un fattore di scala in modo che le sequenze più lunghe vengano mappate nell'intervallo di posizioni addestrate, mantenendo le rotazioni nella distribuzione.
Il documento PI ha mostrato che posizioni di grandi dimensioni invisibili possono produrre punteggi di attenzione di ordini di grandezza maggiori rispetto all'allenamento, destabilizzando il softmax.
Il documento riportava che circa 1.000 passaggi di messa a punto erano sufficienti per estendere il contesto fino a 32.000 token.
PI ridimensiona la posizione da m a m/s, comprimendo il nuovo intervallo più ampio nell'intervallo addestrato originale.
PI ha stabilito che l'interpolazione fosse l'approccio sicuro; Il ridimensionamento compatibile con NTK e YaRN lo hanno perfezionato interpolando le frequenze in modo più selettivo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Interpolazione della posizione per l'estensione del contesto
Intelligenza artificiale linguistica