Quiz collegato alla guida · Difficile Livello

Quiz sull'ottimizzazione dell'inferenza dell'intelligenza artificiale

Verifica l'ottimizzazione della misurazione, il realismo del carico di lavoro, i compromessi in batch, l'ambito della cache, l'impatto sulla precisione e la qualità delle attività completate.

Domanda 1 di 8

Perché misurare le prestazioni end-to-end prima di ottimizzare un modello?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché misurare le prestazioni end-to-end prima di ottimizzare un modello?
    • Ogni carico di lavoro è limitato dal modello e dal calcolo
    • L'ottimizzazione migliora sempre la qualità del compito
    • Un benchmark di riscaldamento breve rappresenta l'uso in produzione
    • Il collo di bottiglia può essere l'estrazione, la tokenizzazione, il trasferimento o la gestione dell'output anziché l'inferenza
  2. Cosa può migliorare il batching e cosa può peggiorare?
    • Il throughput può migliorare mentre la latenza individuale aumenta mentre le richieste attendono un batch
    • Entrambi migliorano sempre insieme
    • La memoria diminuisce sempre
    • L'accuratezza del compito è garantita in aumento
  3. Quando è sicuro riutilizzare una risposta modello memorizzata in cache?
    • Ogni volta che il testo della richiesta sembra simile
    • Quando la chiave tiene conto dell'input rilevante, della versione del modello, delle autorizzazioni e del contesto
    • Quando la cache è memorizzata privatamente
    • Solo quando la risposta è breve
  4. Cosa dovrebbe essere verificato dopo aver ridotto la precisione numerica?
    • Solo se l'inferenza è diventata più veloce
    • Solo la dimensione del file del modello
    • Qualità del compito sullo stesso set di valutazione rappresentativo della configurazione originale
    • Se la GPU supporta il formato
  5. Un benchmark utilizza una singola richiesta breve pre-riscaldata. Perché potrebbe fuorviare?
    • Contiene troppi casi d'uso
    • Una richiesta calda non è mai misurabile
    • Valuta i pesi del modello sbagliati per definizione
    • Omette avvii a freddo, concorrenza, richieste lunghe e comportamento di cancellazione
  6. Cosa misura il tempo al primo token rispetto al tempo totale di completamento?
    • Il ritardo iniziale dello streaming rispetto al tempo per completare la risposta
    • Due nomi per esattamente la stessa metrica
    • Precisione del modello rispetto alla calibrazione
    • Profondità della coda rispetto al tasso di hit della cache
  7. Perché sintonizzare un fattore significativo alla volta?
    • Garantisce nessuna regressione
    • Aiuta ad attribuire miglioramenti e regressioni al cambiamento effettuato
    • Elimina la necessità di una linea di base
    • Rende automaticamente confrontabili carichi di lavoro diversi
  8. Qual è l'obiettivo di ottimizzazione nella guida?
    • Il più alto numero di throughput isolato
    • La latenza più bassa su un singolo test
    • Un compito completato meglio entro i vincoli di qualità e risorse richiesti
    • Il minor numero di parametri del modello indipendentemente dalla qualità