Il prossimoProssima guida
Significatività statistica nelle valutazioni LLM
Tecnico
GUIDA TECNICA
Promptfoo e DeepEval sono framework software per organizzare casi di test LLM, eseguire modelli o applicazioni, e verificare gli output con asserzioni o metriche.
Ascolta questa guidaNarrato dall'IA · ~3 min
Le loro interfacce attuali differiscono: Promptfoo enfatizza confronti guidati dalla configurazione, mentre DeepEval offre casi di test Python e flussi di lavoro metrici; entrambi richiedono ancora test specifici per compito e revisione umana.
Promptfoo’s documentation describes a configuration-driven workflow: list prompts, providers, variables, test cases, and optional assertions, then run evaluations to compare outputs. Assertions can be deterministic, such as schema or exact-match checks, or model-graded; a test suite can also be reviewed manually. DeepEval’s current documentation centers on Python test cases and metrics and supports end-to-end, component, and trajectory evaluations; its CLI can run tests in CI. Many of its built-in metrics use LLM judges, which can add cost, latency, and judge error. Promptfoo also offers model-graded assertions and comparisons, so neither framework is limited to one metric style. These frameworks organize test execution and result review; they do not decide what “good” means for a product. Define test inputs that reflect actual use, expected outcomes or rubrics, thresholds that match the risk, and a process for reviewing failures. A model-graded metric is an estimate under its rubric, not a fact. Calibrate important metrics against human judgments and inspect disagreement. Use deterministic checks when the expected result is exact, such as required JSON fields, and human review where context or safety requires interpretation. CI integration can catch regressions before release, but nondeterministic outputs and model-service changes can make a check noisy. Pin relevant model and framework versions, record run settings, repeat or adjudicate unstable cases, and avoid failing a build on a metric that has not been validated for the task. Preserve representative failures as new regression cases after confirming their expected behavior.
Un team che mantiene un chatbot di supporto clienti scrive una configurazione Promptfoo con 50 domande di esempio e afferma che le risposte contengono le frasi di policy richieste, individuando una regressione quando una modifica del prompt elimina accidentalmente un disclaimer sulla politica di rimborso.
Un ingegnere utilizza la metrica di allucinazione integrata di DeepEval per verificare se le risposte di una pipeline RAG rimangono radicate nei documenti recuperati, segnalando i casi in cui il modello ha aggiunto fatti non presenti nel testo di origine.
Un'azienda che confronta GPT-4o e Claude per un compito di sintesi esegue gli stessi casi di test tramite la vista di confronto dei modelli di Promptfoo per vedere gli output affiancati e i tassi di superamento prima di scegliere un modello predefinito.
Uno sviluppatore integra DeepEval come plugin pytest in modo che ogni pull request che modifica i template dei prompt esegua automaticamente una suite di regressione e fallisca la build se i punteggi di rilevanza delle risposte scendono sotto una soglia impostata.
I framework di valutazione continuano ad aggiungere tracce degli agenti, casi multimodali, metriche di giudizio e integrazioni CI. Man mano che questi prodotti cambiano, i team dovrebbero fissare le versioni, ricontrollare le definizioni delle metriche e validare costi e nondeterminismo prima di trasformare un test in una porta di rilascio. Una pratica di valutazione duratura combina esempi rappresentativi, asserzioni automatizzate, revisione umana per casi ambigui e un modo per aggiornare i test quando i requisiti del prodotto cambiano. Le funzionalità e i formati di output variano per rilascio; ricontrolla i comandi di integrazione documentati dopo l'aggiornamento delle dipendenze e valida il comportamento in CI.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Promptfoo e DeepEval sono framework software per organizzare casi di test LLM, eseguire modelli o applicazioni e verificare gli output con asserzioni o metriche. Le loro interfacce attuali differiscono: Promptfoo enfatizza confronti guidati dalla configurazione, mentre DeepEval offre casi di test Python e flussi di lavoro metrici; entrambi richiedono ancora test specifici per il compito e revisione umana.
Entrambi i framework aiutano a organizzare valutazioni LLM ripetibili; consentono anche revisione manuale, e i controlli automatizzati non sostituiscono il giudizio su cosa significhi qualità.
Promptfoo è guidato dalla configurazione, comunemente usando YAML per definire cosa testare e come valutarlo.
Faithfulness extracts claims from an answer and checks each against the provided context to catch hallucinated content.
An assertion checking for required policy phrases failed after the disclaimer was inadvertently removed.
DeepEval rappresenta i casi di test come oggetti strutturati che i metriche valutano successivamente.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Significatività statistica nelle valutazioni LLM
Tecnico