Il prossimoProssima guida
Potenza statistica e dimensione del campione per esperimenti modello
Tecnico
GUIDA TECNICA
La dimensione del campione nella valutazione dei prompt è il numero di casi di test rilevanti utilizzati per stimare le prestazioni o confrontare le versioni dei prompt.
Ascolta questa guidaNarrato dall'IA · ~3 min
Non esiste un minimo universale: il numero richiesto dipende dalla variabilità dei risultati e dalla differenza che vale la pena rilevare. Un insieme ampio ma non rappresentativo può ancora produrre conclusioni fuorvianti.
A prompt can look better on a handful of examples by chance. Plan from the decision: what metric matters, what smallest improvement would justify a change, how variable are outcomes, and how much uncertainty can you tolerate? Statistical power, significance level, baseline performance and sampling design affect the needed number. NIST guidance for proportion tests makes these dependencies explicit; it does not give one universal count for prompt evaluation. For binary pass/fail outcomes, report numerator, denominator and an appropriate confidence interval; Wilson intervals are commonly recommended for proportions. To compare versions, run them on the same representative cases and analyze paired outcomes. Repeated variants of one source or turns from one conversation may be correlated. Repeated model generations can measure run-to-run variation, but do not replace diversity in user inputs. Define the metric, sampling frame, strata, grading rules and decision threshold before testing. Include ordinary and edge cases, and keep a separate holdout if tuning is extensive. Oversampling rare safety failures is useful for discovery, but the raw rate is not prevalence unless weighted to the target distribution. Report uncertainty and assumptions rather than claiming a fixed count proves improvement. Independence matters: ten paraphrases of one source are not equivalent to ten unrelated tasks. If cases cluster by product, language or workflow, report groups and respect the design in analysis. Keep test cases distinct from prompt-tuning examples. Cases may share documents, users or workflows, so count independent sampling units rather than every generated variation as new evidence. Keep a separate holdout when tuning repeatedly, and distinguish repeated model runs from additional task coverage.
Scegli il più piccolo miglioramento utile prima di pianificare quanti casi testare.
Esegui entrambe le versioni sugli stessi casi e registra vincite, sconfitte e pareggi accoppiati.
Segnala l'incertezza insieme al tasso di superamento, soprattutto con un set piccolo.
Aggiungere test rari o ad alta gravità per la scoperta, ma separarli dalle stime di prevalenza.
Gli strumenti possono automatizzare i calcoli della potenza e l'analisi accoppiata, ma i risultati dipendono ancora da ipotesi realistiche sulla distribuzione dei casi, sull'affidabilità della classificazione e sulla dimensione dell'effetto. Combina riepiloghi statistici con analisi degli errori e test di sicurezza mirati. Una quantità maggiore di dati non può riparare un campione distorto o un selezionatore non valido. Le piattaforme di valutazione possono facilitare la raccolta di suite di grandi dimensioni, ma il volume non può sostituire un fotogramma di campionamento del suono. Gli strumenti futuri potrebbero migliorare i report abbinati e stratificati. Spiegare quale popolazione rappresentano i casi e quali input non sono stati campionati. Le piattaforme di valutazione possono automatizzare i calcoli, ma la progettazione del campione e la validità del selezionatore rimangono responsabilità del team. Pubblica il quadro di campionamento, l'accoppiamento o il clustering, la metrica e l'incertezza in modo che i lettori possano capire cosa rappresenta e cosa non rappresenta la stima.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La dimensione del campione nella valutazione dei prompt è il numero di casi di test rilevanti utilizzati per stimare le prestazioni o confrontare le versioni dei prompt. Non esiste un minimo universale: il numero richiesto dipende dalla variabilità dei risultati e dalla differenza che vale la pena rilevare. Un insieme ampio ma non rappresentativo può ancora produrre conclusioni fuorvianti.
Modifiche richieste del campione con differenza target, variabilità dei risultati e obiettivi di inferenza.
Un intervallo comunica incertezza nella proporzione stimata.
Le analisi ripetute mostrano variazioni per quell'input, non per la nuova copertura dell'input.
Un campione mirato è prezioso ma non automaticamente rappresentativo.
Queste scelte progettuali determinano i requisiti di precisione o potenza.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Potenza statistica e dimensione del campione per esperimenti modello
Tecnico