Il prossimoProssima guida
Estrazione delle relazioni dal testo
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
T5 (Text-to-Text Transfer Transformer), di Google nel 2019, riformula ogni attività della PNL, traduzione, riepilogo, classificazione e persino regressione, come immissione di testo e estrazione di testo.
Ascolta questa guidaNarrato dall'IA · ~2 min
This single unified format lets one model and one training recipe handle dozens of tasks.
L'idea centrale di T5 è che qualsiasi attività linguistica può essere trasformata in testo-testo: l'input è una stringa con un prefisso dell'attività e l'output è sempre una stringa. La traduzione diventa "traduci dall'inglese al tedesco: ..." producendo testo tedesco; il sentimento diventa 'sst2 frase: ...' producendo la parola letterale 'positivo' o 'negativo'. Utilizza un trasformatore codificatore-decodificatore completo, a differenza del BERT solo codificatore o del GPT solo decodificatore. T5 è stato pre-addestrato sul corpus C4 (Colossal Clean Crawled Corpus, ~750 GB di testo web pulito) con un obiettivo di corruzione degli span: intervalli casuali di token vengono mascherati e sostituiti con token sentinella e il modello impara a generare gli intervalli mancanti. Lo studio di accompagnamento ha confrontato sistematicamente architetture, obiettivi e dimensioni dei set di dati per trovare ciò che viene trasferito meglio.
Riepilogo astrattivo: il prefisso 'summarize: ' prima di un articolo fa sì che T5 generi un riassunto conciso con parole proprie.
Traduzione automatica: un singolo modello T5 gestisce più coppie linguistiche tramite prefissi come "traduci dall'inglese al francese:".
FLAN-T5 segue le istruzioni in linguaggio naturale per rispondere alle domande e ragionare senza riqualificazione specifica per l'attività.
Risposta a domande a libro chiuso: T5 risponde a domande concrete direttamente come testo generato, attingendo alla conoscenza immagazzinata nei suoi pesi.
Il paradigma testo-testo è diventato estremamente influente: i discendenti ottimizzati per le istruzioni come FLAN-T5 si generalizzano a compiti invisibili provenienti da istruzioni in linguaggio naturale e il formato unificato prefigura gli odierni modelli linguistici di grandi dimensioni basati su prompt. Aspettatevi un uso continuato di codificatori-decodificatori T5 per il riepilogo, la traduzione e la generazione strutturata, oltre a varianti multilingue come mT5 e successori incentrati sull'efficienza, anche se i modelli basati solo sul decodificatore dominano le applicazioni di chat aperte.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
T5 (Text-to-Text Transfer Transformer), di Google nel 2019, riformula ogni attività della PNL, traduzione, riepilogo, classificazione e persino regressione, come immissione di testo e estrazione di testo. Questo unico formato unificato consente a un modello e a una ricetta di formazione di gestire decine di attività.
T5 unisce traduzione, riepilogo, classificazione e altro in un unico formato da testo a testo utilizzando i prefissi delle attività.
A differenza del BERT solo codificatore o del GPT solo decodificatore, T5 utilizza un trasformatore codificatore-decodificatore completo con attenzione incrociata.
T5 maschera intervalli casuali di token, li sostituisce ciascuno con una sentinella e addestra il decodificatore a riprodurre gli intervalli mancanti.
T5 è stato addestrato su C4, un sottoinsieme pulito di circa 750 GB di testo web di Common Crawl.
Poiché tutto è testo-testo, T5 genera l'etichetta della classe come una stringa di parole anziché come un indice numerico della classe.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Estrazione delle relazioni dal testo
Intelligenza artificiale linguistica