LLM-Bewertungen

Relevante Dimensionen können faktische Genauigkeit, Befehlsfolgen, Abrufnutzung, Robustheit, Kosten und Reaktionszeit umfassen. Ein einziger Präferenzwert erfasst selten alle Dimensionen.

Wichtige Erkenntnisse

• Bewerten Sie die vollständige Anwendungskonfiguration.
• Validiere die Bewertungsmethoden selbst.
• Beziehen Sie Enthaltungs- und kontradiktorische Fälle ein.

Bewerten Sie das System, das Nutzer tatsächlich erhalten. Ein Modell mit Abruf, Werkzeugen und einem bestimmten Prompt kann sich anders verhalten als dasselbe Modell, das allein getestet wurde. Bewahren Sie diese Einstellungen mit dem Evaluationsdatensatz, einschließlich Beschränkungen für Werkzeugaufrufe und Wiederholungen. Kombinieren Sie deterministische Prüfungen mit Urteilen, die Interpretation erfordern. Exakte Übereinstimmung funktioniert für einige extrahierte Felder oder ausführbare Tests, während eine Zusammenfassung für Beweise und Auslassungen erforderlich sein kann. Schreiben Sie die Rubrik so, dass verschiedene Prüfer sie konsistent anwenden können, und prüfen Sie unterschiedliche Meinungsverschiedenheiten. Ein Modell kann bei der Bewertung helfen, aber sein Urteil ist ein weiterer Messprozess mit möglichen Verzerrungen. Vergleichen Sie es mit unabhängig überprüften Beispielen, variieren Sie die Antwortreihenfolge und prüfen Sie, ob es Wortreichweite oder Stil mehr belohnt als Korrektheit. Behandeln Sie die Zustimmung eines Modells nicht als unabhängigen Beweis. Fügen Sie unbeantwortbare Fragen, widersprüchliche Quellen, Langkontextfälle und bösartige Anweisungen in abgerufenes Material ein. Berichten Sie Ergebnisse nach Aufgabe und Fehlerschwere. Behalte gescheiterte Beispiele als Regressionsfälle, während du das gehaltene Material auffrischst, damit die Bewertung nicht zu einem auswendig gelernten Ziel wird.

1. Geben Sie einem Modell eine erfundene Richtlinie, die nur besagt, dass Rückerstattungen innerhalb von 14 Tagen möglich sind.
2. Fragen Sie, ob der Versand erstattet wird. Eine selbstbewusste Antwort ist nicht belegt, weil die Richtlinie nichts dazu sagt.
3. Bewerten Sie eine Antwort, die die fehlenden Informationen besser identifiziert als eine erfundene Police, auch wenn die Erfindung hilfreicher klingt.

Dieser konstruierte Fall bewertet den Umgang mit Beweismitteln statt die Sprachflüssigkeit.