Τι είναι HumanEval?

Μια τυποποιημένη δοκιμή ή σύνολο δεδομένων που χρησιμοποιείται για τη μέτρηση και τη σύγκριση της απόδοσης του μοντέλου.

Ένα σημείο αναφοράς μαθηματικών προβλημάτων λέξης δημοτικού σχολείου που χρησιμοποιείται για την αξιολόγηση βήμα προς βήμα συλλογισμού σε γλωσσικά μοντέλα.

Ένα συγκρατημένο σύνολο δεδομένων που χρησιμοποιείται για τη μέτρηση της ποιότητας του μοντέλου μετά την εκπαίδευση.

Πρόσθετος υπολογισμός συμπερασμάτων που χρησιμοποιείται κατά τη δημιουργία απόκρισης για τη βελτίωση της ποιότητας ή του συλλογισμού.

Μια μέτρηση κωδικού αξιολόγησης που μετρά την πιθανότητα τουλάχιστον ένα από τα k δείγματα που δημιουργούνται να περάσει τις δοκιμές.

Πολιτικές, πρότυπα και μηχανισμοί εποπτείας που καθοδηγούν τον τρόπο με τον οποίο αναπτύσσεται και χρησιμοποιείται η τεχνητή νοημοσύνη στην κοινωνία.