GUIDA TECNICA

Ottimizzazione dell'inferenza dell'intelligenza artificiale

L'ottimizzazione dell'inferenza riduce le risorse o il tempo necessari per eseguire un modello preservando la qualità necessaria per il suo compito.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Punti chiave
  3. Immersione profonda
  4. Calcolare il limite di un'ottimizzazione locale
  5. Implementazione nel mondo reale
  6. Metterlo in pratica
  7. Fonti e approfondimenti
  8. Continua a esplorare
  9. Domande frequenti

Panoramica

Le tecniche includono batch, memorizzazione nella cache, precisione inferiore, selezione del modello ed esecuzione efficiente. Sceglili in base a un collo di bottiglia misurato anziché dare per scontato che ogni ottimizzazione aiuti ogni carico di lavoro.

Punti chiave

  1. Confronta carichi di lavoro realistici.
  2. Testare nuovamente la qualità dopo le modifiche numeriche.
  3. Ottimizza la fase dominante della richiesta completa.

Immersione profonda

Misura la latenza end-to-end, il throughput, la memoria e la qualità delle attività su input realistici. Includere avviamenti a freddo, concorrenza, richieste lunghe e annullamento. Un benchmark che utilizza un breve input riscaldato potrebbe non rappresentare un servizio rivolto all'utente. Il batch può migliorare l'utilizzo dell'hardware elaborando le richieste insieme, ma l'attesa di formare un batch può aumentare la latenza individuale. La memorizzazione nella cache aiuta a ripetere il lavoro solo quando la chiave di cache acquisisce il modello, l'input, le autorizzazioni e la versione rilevanti. Una memorizzazione nella cache errata può restituire risultati obsoleti o non autorizzati. Una precisione o una quantizzazione inferiore possono ridurre la memoria e il calcolo, ma l'impatto sulla qualità dipende dal modello, dall'hardware, dal metodo e dall'attività. Confrontalo con la configurazione originale utilizzando gli stessi esempi di valutazione, inclusi casi rari e numericamente sensibili. Ottimizza il percorso completo della richiesta. Il recupero, la tokenizzazione, il trasferimento di rete e la gestione dell'output possono dominare il tempo di esecuzione del modello. Modificare un fattore significativo alla volta e registrare sia il miglioramento che l'eventuale regressione. L'obiettivo è un'attività completata meglio, non un numero di throughput isolato più lusinghiero.

04Esempio lavorato

Calcolare il limite di un'ottimizzazione locale

  1. In una richiesta costruita, l'esecuzione del modello richiede 400 ms e tutto il resto del lavoro richiede 600 ms.

  2. Rendere il modello due volte più veloce riduce il tempo totale da 1.000 ms a 800 ms: una riduzione end-to-end del 20%.

  3. Misurare le altre fasi prima di presumere che un'altra ottimizzazione del modello rappresenti la modifica di valore più elevato.

Cosa mostra

L'esempio di temporizzazione inventato illustra perché l'accelerazione di un componente non è la stessa cosa dell'accelerazione del sistema.

Implementazione nel mondo reale

Recupero e generazione del profilo separatamente prima di ottimizzare le impostazioni di pubblicazione.

Valutare gli output quantizzati rispetto allo stesso set di attività previste nel modello originale.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Fonti e approfondimenti

  1. NVIDIAOttimizzazione delle prestazioni di TensorRT
  2. NVIDIAConsiderazioni sull'accuratezza

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Fai il quiz sull'ottimizzazione dell'inferenza AI

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Un lotto più grande renderà sempre più veloce un assistente interattivo?

No. Può migliorare la produttività aggiungendo tempo in coda. Misura la latenza e il compromesso del carico di lavoro.