Quiz collegato alla guida · Difficile Livello
Quiz sull'ottimizzazione dell'inferenza dell'intelligenza artificiale
Verifica l'ottimizzazione della misurazione, il realismo del carico di lavoro, i compromessi in batch, l'ambito della cache, l'impatto sulla precisione e la qualità delle attività completate.
Domanda 1 di 8
Perché misurare le prestazioni end-to-end prima di ottimizzare un modello?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché misurare le prestazioni end-to-end prima di ottimizzare un modello?
- Ogni carico di lavoro è limitato dal modello e dal calcolo
- L'ottimizzazione migliora sempre la qualità del compito
- Un benchmark di riscaldamento breve rappresenta l'uso in produzione
- Il collo di bottiglia può essere l'estrazione, la tokenizzazione, il trasferimento o la gestione dell'output anziché l'inferenza
- Cosa può migliorare il batching e cosa può peggiorare?
- Il throughput può migliorare mentre la latenza individuale aumenta mentre le richieste attendono un batch
- Entrambi migliorano sempre insieme
- La memoria diminuisce sempre
- L'accuratezza del compito è garantita in aumento
- Quando è sicuro riutilizzare una risposta modello memorizzata in cache?
- Ogni volta che il testo della richiesta sembra simile
- Quando la chiave tiene conto dell'input rilevante, della versione del modello, delle autorizzazioni e del contesto
- Quando la cache è memorizzata privatamente
- Solo quando la risposta è breve
- Cosa dovrebbe essere verificato dopo aver ridotto la precisione numerica?
- Solo se l'inferenza è diventata più veloce
- Solo la dimensione del file del modello
- Qualità del compito sullo stesso set di valutazione rappresentativo della configurazione originale
- Se la GPU supporta il formato
- Un benchmark utilizza una singola richiesta breve pre-riscaldata. Perché potrebbe fuorviare?
- Contiene troppi casi d'uso
- Una richiesta calda non è mai misurabile
- Valuta i pesi del modello sbagliati per definizione
- Omette avvii a freddo, concorrenza, richieste lunghe e comportamento di cancellazione
- Cosa misura il tempo al primo token rispetto al tempo totale di completamento?
- Il ritardo iniziale dello streaming rispetto al tempo per completare la risposta
- Due nomi per esattamente la stessa metrica
- Precisione del modello rispetto alla calibrazione
- Profondità della coda rispetto al tasso di hit della cache
- Perché sintonizzare un fattore significativo alla volta?
- Garantisce nessuna regressione
- Aiuta ad attribuire miglioramenti e regressioni al cambiamento effettuato
- Elimina la necessità di una linea di base
- Rende automaticamente confrontabili carichi di lavoro diversi
- Qual è l'obiettivo di ottimizzazione nella guida?
- Il più alto numero di throughput isolato
- La latenza più bassa su un singolo test
- Un compito completato meglio entro i vincoli di qualità e risorse richiesti
- Il minor numero di parametri del modello indipendentemente dalla qualità