GUIDA AI FONDAMENTALI

Inferenza dell'intelligenza artificiale

L'inferenza utilizza un modello addestrato per produrre un output da un nuovo input.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Punti chiave
  3. Immersione profonda
  4. Tenere conto del tempo di risposta end-to-end
  5. Implementazione nel mondo reale
  6. Metterlo in pratica
  7. Fonti e approfondimenti
  8. Continua a esplorare
  9. Domande frequenti

Panoramica

Un classificatore può restituire un punteggio di categoria; un modello linguistico può generare token. L'inferenza di solito lascia invariati i parametri del modello, sebbene un sistema circostante possa salvare separatamente le informazioni o apprendere dal feedback.

Punti chiave

  1. Misura l'intero percorso della richiesta.
  2. Separa la latenza per richiesta dal throughput.
  3. Testare nuovamente la qualità dopo aver pubblicato le ottimizzazioni.

Immersione profonda

Una richiesta in genere passa attraverso la convalida dell'input, la preelaborazione, il modello e l'elaborazione dell'output. Un servizio di testo può tokenizzare un prompt, eseguire ripetutamente il modello per generare token e assemblare la risposta. Il recupero e gli strumenti esterni possono aggiungere più fasi al modello. Il loro tempo e i loro errori contano ai fini dell'esperienza dell'utente. Misura la latenza e il throughput separatamente. La latenza è quanto tempo impiega una richiesta; il throughput è il numero di richieste che il sistema completa in un periodo. Le richieste in batch possono migliorare la velocità effettiva aumentando l'attesa per una singola richiesta. Lo streaming può far sì che una risposta inizi prima senza ridurre il tempo necessario per completarla. La memoria hardware deve contenere più pesi del modello. Anche i buffer di lavoro, le richieste simultanee e le rappresentazioni memorizzate nella cache consumano memoria. Input e output più lunghi possono modificare il costo di servizio, quindi prova l'effettiva distribuzione del carico di lavoro anziché una breve richiesta dimostrativa. Una distribuzione di inferenza necessita di limiti, timeout e una risposta utilizzabile quando il modello non può rispondere. Conserva un set di valutazione con versione e confronta gli output dopo aver modificato precisione, batch, versioni del modello o preelaborazione. Un'ottimizzazione è utile solo se preserva la qualità richiesta dall'attività.

04Esempio lavorato

Tenere conto del tempo di risposta end-to-end

  1. In una richiesta costruita, la convalida richiede 20 ms, il recupero del documento 180 ms, la generazione del modello 900 ms e la formattazione 30 ms.

  2. Se queste fasi vengono eseguite in sequenza, il totale è 1.130 ms. Dimezzare il tempo di formattazione consente di risparmiare solo 15 ms.

  3. Riducendo il recupero a 100 ms si risparmiano 80 ms. Misurare nuovamente con carico simultaneo perché la coda può modificare il risultato.

Cosa mostra

Questi tempi inventati illustrano perché l'ottimizzazione di un piccolo palcoscenico può difficilmente cambiare l'esperienza.

Implementazione nel mondo reale

Classificare un messaggio in arrivo senza riqualificare il classificatore.

Trasmetti in streaming una bozza di risposta preservando un chiaro controllo di cancellazione.

Metterlo in pratica

Perché è importante

  • Decisioni più chiare. Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
  • Costo e budget. Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
  • Team e flusso di lavoro. I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.

Attenzione

  • Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
  • I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
  • Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.

Prossimi passi

  1. Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
  2. Scegli una metrica di successo e una condizione di fallimento prima del test.
  3. Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
  4. Documenta dove AI Inference aiuta e dove i metodi più semplici sono migliori.

Fonti e approfondimenti

  1. PyTorchSalvare, caricare e utilizzare un modello

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the AI Inference quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

L'inferenza è la stessa cosa del ragionamento?

L'inferenza descrive l'esecuzione di un modello. Un compito può comportare ragionamento, classificazione o generazione; l'etichetta di esecuzione non stabilisce la qualità del ragionamento.