Was ist Pass@k?

Eine Sprachmodellmetrik, die misst, wie überrascht das Modell von echten nächsten Token ist.

Ein Modell, das eine Abfrage und ein Dokument in einem Durchgang bewertet, um hochpräzise Relevanzbeurteilungen zu ermöglichen.

Ein Benchmark für Python-Programmierprobleme, mit dem die Korrektheit der Codegenerierung mithilfe von Komponententests gemessen wird.

Eine strukturierte Möglichkeit für ein Softwaresystem, Anfragen an ein anderes System zu senden und Antworten von diesem zu empfangen.

Eine Aufgabe, bei der ein Modell eine Eingabe einer oder mehreren vordefinierten Kategorien zuordnet.

Methoden, die ein in einer Domäne trainiertes Modell übertragen, um in einer anderen Domäne eine bessere Leistung zu erzielen.