Grundlagen der KI-Bewertung

Es kombiniert repräsentative Beispiele, explizite Bewertungsregeln und Fehleranalysen. Eine erfolgreiche API-Antwort oder eine ausgefeilte Demonstration beweist nicht, dass das System die beabsichtigte Aufgabe zuverlässig ausführt.

Wichtige Erkenntnisse

• Setzen Sie vor dem Testen Akzeptanzkriterien fest.
• Führen Sie einen Bewertungs-Set.
• Missen Sie Inhalt, Workflow-Ergebnisse und Fehlerbehandlungen getrennt.

Schreiben Sie zuerst die Akzeptanzkriterien. Geben Sie Eingabe, erwartete Ausgabe, tolerierbare Fehler, Antwortzeit-Einschränkungen und Bedingungen an, die das System zur Enthaltung oder Eskalierung führen sollten. Fügen Sie eine einfache Basis hinzu, um zu zeigen, ob zusätzliche Komplexität einen praktischen Nutzen bringt. Erstellen Sie separate Entwicklungs- und Evaluationssätze. Entwicklungsbeispiele unterstützen Iteration; ein Bestand testet die Entscheidungen nach deren Erfolg. Wiederholtes Abstimmen des finalen Testsets verwandeln ihn in einen weiteren Entwicklungsset. Versionen aufzeichnen, damit eine geänderte Punktzahl auf geänderte Daten, Prompts, Modelle oder Bewertungen zurückverfolgt werden kann. Verwenden Sie Metriken, die zur Aufgabe passen. Ein Klassifikator benötigt klassenspezifische Fehleranalyse; ein Zusammenfassungsprüfer benötigt Prüfungen der tatsächlichen Konsistenz und Abdeckung; ein Agent benötigt eine Überprüfung abgeschlossener Aktionen und unbeabsichtigter Nebenwirkungen. Schwierige Fälle statt nur typischer Eingaben einbeziehen. Überprüfen Sie die Ergebnisse mit Blick auf Unsicherheit und Konsequenzen. Ein seltener Fehler kann wichtiger sein als viele harmlose Formulierungsunterschiede. Wiederholen Sie eine stochastische Aufgabe so weit, dass Sie die Variation verstehen, und dokumentieren Sie, wo die Bewertung keine tatsächliche Nutzung darstellt. Die Bewertung unterstützt eine Entscheidung; sie beseitigt keine Unsicherheit.

1. Bereiten Sie eine erfundene Rechnung mit Untersumme 80, Steuer 8 und Gesamtrechnung 88 sowie eine weitere Rechnung vor, bei der die Gesamtsumme fehlt.
2. Punktfeld-Extraktion und arithmetische Konsistenz getrennt durchführen. Für das zweite Dokument wird ein expliziter fehlender Wert benötigt.
3. Fügen Sie einen Fall mit einer nicht zusammenhängenden Zahl nahe dem Gesamtlabel hinzu, um zu prüfen, ob das System eine bequeme Antwort erfindet.

Die Übung definiert Korrektheit über das bloße Zurückgeben gut ausgebildeter JSON hinaus.