Όρος Γλωσσάρι AI

Τι είναι HumanEval;

Ορισμός

Ένα σημείο αναφοράς για προβλήματα προγραμματισμού Python που χρησιμοποιείται για τη μέτρηση της ορθότητας δημιουργίας κώδικα μέσω δοκιμών μονάδας.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

Σημείο αναφοράςΜια τυποποιημένη δοκιμή ή σύνολο δεδομένων που χρησιμοποιείται για τη μέτρηση και τη σύγκριση της απόδοσης του μοντέλου.GSM8KΈνα σημείο αναφοράς μαθηματικών προβλημάτων λέξης δημοτικού σχολείου που χρησιμοποιείται για την αξιολόγηση βήμα προς βήμα συλλογισμού σε γλωσσικά μοντέλα.Σετ αξιολόγησηςΈνα συγκρατημένο σύνολο δεδομένων που χρησιμοποιείται για τη μέτρηση της ποιότητας του μοντέλου μετά την εκπαίδευση.Υπολογισμός δοκιμής-χρόνουΠρόσθετος υπολογισμός συμπερασμάτων που χρησιμοποιείται κατά τη δημιουργία απόκρισης για τη βελτίωση της ποιότητας ή του συλλογισμού.Pass@kΜια μέτρηση κωδικού αξιολόγησης που μετρά την πιθανότητα τουλάχιστον ένα από τα k δείγματα που δημιουργούνται να περάσει τις δοκιμές.Διακυβέρνηση AIΠολιτικές, πρότυπα και μηχανισμοί εποπτείας που καθοδηγούν τον τρόπο με τον οποίο αναπτύσσεται και χρησιμοποιείται η τεχνητή νοημοσύνη στην κοινωνία.

Δείτε επίσης

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training