Μάθηση Νέα Εργαλεία Θέσεις εργασίας Αποστολή

Όρος Γλωσσάρι AI

Τι είναι Top-k Δειγματοληψία;

Ορισμός

Μια στρατηγική αποκωδικοποίησης που λαμβάνει δείγματα μόνο από τα k πιο πιθανά επόμενα διακριτικά.

Περιηγηθείτε στο πλήρες Γλωσσάρι AI Εξερευνήστε όλους τους δωρεάν οδηγούς AI

Top-p (Πυρήνας) ΔειγματοληψίαΜια στρατηγική αποκωδικοποίησης που λαμβάνει δείγματα από το μικρότερο σύνολο διακριτικών του οποίου οι πιθανότητες αθροίζονται σε p.Φυλακισμένη αποκωδικοποίησηΜια στρατηγική παραγωγής που περιορίζει τα διακριτικά εξόδου σε έγκυρες δομές ή επιλογές συμβατές με την πολιτική.Εκμάθηση λίγων βολώνΕκμάθηση ή προσαρμογή συμπεριφοράς μόνο από ένα μικρό αριθμό παραδειγμάτων.PerplexityΜια μέτρηση μοντέλου γλώσσας που μετρά πόσο εκπλήσσεται το μοντέλο από τα αληθινά επόμενα διακριτικά.κερδοσκοπική αποκωδικοποίησηΜια μέθοδος επιτάχυνσης συμπερασμάτων όπου ένα μικρό πρόχειρο μοντέλο προτείνει διακριτικά που ένα μεγαλύτερο μοντέλο επαληθεύει παράλληλα.KV Cache (Προσωρινή μνήμη KV)Αποθηκευμένοι τανυστές κλειδιών και τιμών από προηγούμενα διακριτικά που επιτρέπουν στους μετασχηματιστές να δημιουργούν νέα διακριτικά χωρίς να υπολογίζουν εκ νέου την προσοχή του παρελθόντος.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Typical Sampling Speculative Sampling Verification Entropy-Based Sampling Early Stopping

Δείτε επίσης

Tool Use Tokenization Transfer Learning Token Transformer Temperature Training Loss System Prompt