VolgendeVolgende gids
LLM Eval Frameworks: Promptfoo and DeepEval
Technisch
Technische GIDS
Een LLM-eval-dataset is een samengestelde set realistische invoer, elk gecombineerd met een gouden antwoord, referentiefeiten of een beoordelingsrubriek, waar u uw applicatie tegenaan laat lopen om de kwaliteit te meten en regressies op te sporen.
Luister naar deze gidsAI-verteld · ~3 min
Het is belangrijk omdat een verandering in de prompt, het model of het ophalen het ene gedrag kan verbeteren en het andere kan doorbreken. Zonder een vaste testset beoordelen teams de veranderingen uiteindelijk aan de hand van een paar zorgvuldig uitgekozen voorbeelden.
Start with real usage. Logs, support tickets, search queries and user interviews show what people actually ask, including the messy phrasing that invented examples miss. Before launch, have domain experts write inputs. You can add synthetic cases generated by an LLM, as long as a person reviews them and removes unrealistic or duplicate items. Next, define what correct means for each case. Some tasks have one right answer, such as classification, extraction or a factual lookup. For these, store a golden answer that can be compared exactly or after light normalization. For open-ended tasks, write a rubric of specific, checkable criteria, such as 'mentions the refund deadline' or 'does not recommend a competitor'. Vague criteria like 'is helpful' lead to inconsistent grading, whether the grader is a person or a judge model. Then cover the range of real inputs on purpose. Tag cases by intent, difficulty, language and user type, and check that the important groups are represented. Add edge cases and adversarial inputs: - ambiguous questions - requests with missing information - very long inputs - out-of-scope requests that should be declined - prompt-injection attempts Keep a regression slice made of past failures. Size the set to the decision it has to support. A few dozen well-chosen cases can reveal large problems early. Detecting small differences reliably takes more. With 100 pass/fail cases and a pass rate near 80 percent, the margin of error is roughly plus or minus 8 percentage points at 95 percent confidence. A two-point improvement is indistinguishable from noise at that size. Report results for each slice, not only an overall average. A common mistake is to treat the dataset as finished. Products and users change, so refresh it from new logs. Keep a held-out portion that you never tune against, so your prompts do not overfit to the test.
Een ondersteuningsteam exporteert 300 echte tickets waaruit de persoonlijke gegevens zijn verwijderd, geeft voor elk ticket de juiste resolutie aan en beoordeelt elke nieuwe promptversie.
Voor een samenvatting van een vergadering waarin veel bewoordingen correct zijn, schrijft het team een rubriek: behandelt de drie belangrijkste beslissingen, doet geen niet-ondersteunde beweringen en blijft onder de 150 woorden.
Het team voegt randgevallen toe: een lege invoer, een vraag in het Spaans, een document met een prompt-injectiepoging en een verzoek dat buiten het bereik valt dat de assistent moet afwijzen.
Wanneer een gebruiker tijdens de productie een slecht antwoord rapporteert, wordt de case met het juiste antwoord in de dataset geplaatst, zodat de oplossing vanaf dat moment getest blijft.
Eval-tooling is snel volwassen geworden. Open-sourceframeworks en gehoste platforms beheren nu datasets, voeren graders uit en houden de resultaten in de loop van de tijd bij. Het genereren van synthetische gegevens zal waarschijnlijk blijven verbeteren, waardoor zeldzame gevallen goedkoper te behandelen zijn. Het kan de echte gebruikersinvoer niet vervangen als anker voor wat er toe doet. Naarmate toepassingen steeds krachtiger worden, omvatten evaluatiesets steeds meer taken die uit meerdere stappen bestaan en die worden beoordeeld op basis van zowel het uiteindelijke resultaat als de stappen die onderweg worden gezet. De kerndiscipline verandert langzaam: definieer succes duidelijk, behandel echte input, gebruik voldoende cases om de cijfers te vertrouwen en vernieuw de set regelmatig vanaf de productie.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Een LLM-eval-dataset is een samengestelde set realistische invoer, elk gecombineerd met een gouden antwoord, referentiefeiten of een beoordelingsrubriek, waar u uw applicatie tegenaan laat lopen om de kwaliteit te meten en regressies op te sporen. Het is belangrijk omdat een verandering in de prompt, het model of het ophalen het ene gedrag kan verbeteren en het andere kan doorbreken. Zonder een vaste testset beoordelen teams de veranderingen uiteindelijk aan de hand van een paar zorgvuldig uitgekozen voorbeelden.
Bij echt gebruik wordt vastgelegd wat mensen daadwerkelijk vragen, inclusief rommelige bewoordingen. Synthetische hoesjes zijn een herziene aanvulling, geen vervanging.
Uitvoer met een open einde, zoals samenvattingen, kan niet exact worden gematcht. Dankzij specifieke, controleerbare criteria kunnen beoordelaars deze consistent beoordelen.
Een goed criterium is specifiek en controleerbaar. Vage criteria als 'is nuttig' leiden tot inconsistente beoordelingen door zowel mensen als beoordelingsmodellen.
Bij een betrouwbaarheid van 95 procent bedraagt de marge bij deze omvang ongeveer 8 punten. Kleine verschillen tussen versies kunnen niet worden vertrouwd zonder meer gevallen.
Het toevoegen van elke opgeloste fout aan de dataset betekent dat een latere wijziging niet stilletjes dezelfde bug opnieuw kan introduceren.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
LLM Eval Frameworks: Promptfoo and DeepEval
Technisch