Il prossimoAvanti in Fondamenti di intelligenza artificiale
Reti neurali
Fondamenti
GUIDA AI FONDAMENTALI
L'inferenza utilizza un modello addestrato per produrre un output da un nuovo input.
Ascolta questa guidaNarrato dall'IA · ~2 min
Un classificatore può restituire un punteggio di categoria; un modello linguistico può generare token. L'inferenza di solito lascia invariati i parametri del modello, sebbene un sistema circostante possa salvare separatamente le informazioni o apprendere dal feedback.
Una richiesta in genere passa attraverso la convalida dell'input, la preelaborazione, il modello e l'elaborazione dell'output. Un servizio di testo può tokenizzare un prompt, eseguire ripetutamente il modello per generare token e assemblare la risposta. Il recupero e gli strumenti esterni possono aggiungere più fasi al modello. Il loro tempo e i loro errori contano ai fini dell'esperienza dell'utente. Misura la latenza e il throughput separatamente. La latenza è quanto tempo impiega una richiesta; il throughput è il numero di richieste che il sistema completa in un periodo. Le richieste in batch possono migliorare la velocità effettiva aumentando l'attesa per una singola richiesta. Lo streaming può far sì che una risposta inizi prima senza ridurre il tempo necessario per completarla. La memoria hardware deve contenere più pesi del modello. Anche i buffer di lavoro, le richieste simultanee e le rappresentazioni memorizzate nella cache consumano memoria. Input e output più lunghi possono modificare il costo di servizio, quindi prova l'effettiva distribuzione del carico di lavoro anziché una breve richiesta dimostrativa. Una distribuzione di inferenza necessita di limiti, timeout e una risposta utilizzabile quando il modello non può rispondere. Conserva un set di valutazione con versione e confronta gli output dopo aver modificato precisione, batch, versioni del modello o preelaborazione. Un'ottimizzazione è utile solo se preserva la qualità richiesta dall'attività.
04Esempio lavorato
In una richiesta costruita, la convalida richiede 20 ms, il recupero del documento 180 ms, la generazione del modello 900 ms e la formattazione 30 ms.
Se queste fasi vengono eseguite in sequenza, il totale è 1.130 ms. Dimezzare il tempo di formattazione consente di risparmiare solo 15 ms.
Riducendo il recupero a 100 ms si risparmiano 80 ms. Misurare nuovamente con carico simultaneo perché la coda può modificare il risultato.
Cosa mostra
Questi tempi inventati illustrano perché l'ottimizzazione di un piccolo palcoscenico può difficilmente cambiare l'esperienza.
Classificare un messaggio in arrivo senza riqualificare il classificatore.
Trasmetti in streaming una bozza di risposta preservando un chiaro controllo di cancellazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'inferenza descrive l'esecuzione di un modello. Un compito può comportare ragionamento, classificazione o generazione; l'etichetta di esecuzione non stabilisce la qualità del ragionamento.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoAvanti in Fondamenti di intelligenza artificiale
Reti neurali
Fondamenti