Il prossimoProssima guida
Modelli di linguaggio medico di grandi dimensioni
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Le abilità emergenti sono abilità che appaiono improvvisamente in grandi modelli linguistici una volta superata una certa scala, anche se i modelli più piccoli non ne mostravano alcun segno.
Ascolta questa guidaNarrato dall'IA · ~2 min
Sono importanti perché rendono le capacità difficili da prevedere da esperimenti su piccola scala.
Reso popolare in un articolo del 2022 da Wei e colleghi, l’emergenza si riferisce a attività in cui le prestazioni rimangono vicine al caso per i modelli più piccoli e poi saltano bruscamente una volta che un modello supera una soglia di dimensione in parametri, dati o calcolo. Gli esempi riportati includevano l'aritmetica in più fasi, alcuni parametri di riferimento del ragionamento e il seguire nuove istruzioni. La cosa che colpisce è la discontinuità: la capacità non migliora progressivamente, sembra assente e poi presente. Un follow-up del 2023 di Schaeffer e colleghi ha sostenuto che alcune emergenze sono in parte un artefatto di misurazione, perché parametri rigidi del tutto o niente come la corrispondenza esatta esagerano i salti improvvisi che sembrano regolari con punteggi più deboli. Il dibattito ha rimodellato il modo in cui i ricercatori riportano i risultati in scala e scelgono i parametri di valutazione.
Modelli di grandi dimensioni che risolvono problemi di parole in più passaggi a cui le versioni più piccole hanno risposto a livello casuale.
Un modello che segue improvvisamente istruzioni complesse e mai viste prima dopo aver superato una soglia di scala.
La catena di pensiero stimola il ragionamento solo una volta che i modelli raggiungono dimensioni sufficienti.
I ricercatori hanno rielaborato un salto di riferimento "improvviso" con un punteggio di credito parziale e hanno trovato una curva uniforme.
I ricercatori ora abbinano studi di scala a più metriche per separare i veri cambiamenti di fase dagli artefatti e sondano quali capacità arrivano veramente solo su larga scala. Una migliore prevedibilità è importante per la sicurezza, poiché le capacità impreviste possono includere abilità rischiose. Aspettatevi più lavoro sulle leggi di scalabilità che prevedono le capacità in anticipo, oltre a un'attenta progettazione dei benchmark in modo che l'"emergenza" dichiarata rifletta il comportamento del modello piuttosto che un capriccio della misurazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Le abilità emergenti sono abilità che appaiono improvvisamente in grandi modelli linguistici una volta superata una certa scala, anche se i modelli più piccoli non ne mostravano alcun segno. Sono importanti perché rendono le capacità difficili da prevedere da esperimenti su piccola scala.
Il lavoro citato descrive cambiamenti apparentemente netti di capacità per alcuni compiti.
Il follow-up sostiene che le metriche non lineari o discontinue possono creare apparenti salti improvvisi.
Lo studio spiega che i parametri “tutto o niente” possono esagerare una discontinuità.
Il documento riporta che le modifiche metriche possono rivelare tendenze prestazionali più uniformi.
Il dibattito sulla ricerca enfatizza la scelta metrica e statistiche migliori.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modelli di linguaggio medico di grandi dimensioni
Intelligenza artificiale linguistica