ΕπόμενοΕπόμενος οδηγός
Βελτιστοποίηση άμεσης προτίμησης
Γλώσσα AI
ΟΔΗΓΟΣ ΓΛΩΣΣΑΣ AI
Βελτιστοποίηση Kahneman-Tversky
Η βελτιστοποίηση Kahneman-Tversky (KTO) είναι μια μέθοδος ευθυγράμμισης που μαθαίνει από απλές ετικέτες αντίχειρες ή αντίχειρες αντί για ζευγαρωμένες συγκρίσεις.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
Βαθιά κατάδυση
Το KTO, που εισήχθη από τον Ethayarajh και τους συναδέλφους του στο Stanford και το Contextual AI το 2024, δανείζεται από τη θεωρία προοπτικών, το βραβευμένο με Νόμπελ έργο των Daniel Kahneman και Amos Tversky σχετικά με το πώς οι άνθρωποι εκτιμούν τα κέρδη και τις ζημίες. Οι τυπικές μέθοδοι όπως το DPO χρειάζονται ζεύγη προτιμήσεων: μια επιλεγμένη και μια απάντηση που απορρίφθηκε για την ίδια προτροπή. Αντίθετα, το KTO λειτουργεί με μη ζευγαρωμένα δεδομένα όπου κάθε μεμονωμένη έξοδος απλώς επισημαίνεται ως επιθυμητή ή ανεπιθύμητη. Δημιουργεί μια απώλεια με επίγνωση του ανθρώπου που αντιμετωπίζει τη βελτίωση του μοντέλου σε ένα δείγμα ως κέρδος ή ζημία σε σχέση με ένα σημείο αναφοράς, εφαρμόζοντας αποστροφή για την απώλεια, ώστε οι ανεπιθύμητες εκροές να τιμωρούνται πιο αυστηρά από ό,τι επιβραβεύονται οι επιθυμητές. Αυτό επιτρέπει στις ομάδες να χρησιμοποιούν τα άφθονα σήματα αντίχειρα προς τα πάνω/κάτω που έχουν ήδη συλλεχθεί σε εφαρμογές παραγωγής.
Υλοποίηση σε πραγματικό κόσμο
Χρησιμοποιώντας κλικ προς τα πάνω/κάτω από ένα αναπτυγμένο chatbot για να το ρυθμίσετε με ακρίβεια χωρίς να δημιουργήσετε ποτέ ζεύγη προτιμήσεων
Ευθυγράμμιση ενός μοντέλου όταν έχετε ένα σωρό απαντήσεις "καλές" και "κακές", αλλά δεν υπάρχουν αντιστοιχισμένες συγκρίσεις για τα ίδια μηνύματα
Μια ομάδα προϊόντων που ανακυκλώνει την εποπτεία (ανεπιθύμητη) και αποθηκεύει απαντήσεις (επιθυμητή) στην εκπαίδευση KTO
Χειρισμός μη ισορροπημένων σχολίων όπου οι αντιπάθειες είναι πιο σπάνιες από τις επισημάνσεις "μου αρέσει", ρυθμίζοντας τα βάρη της αποστροφής για απώλεια και την κατηγορία του KTO
Το μέλλον της βελτιστοποίησης Kahneman-Tversky
Το KTO είναι κατάλληλο για πραγματικά προϊόντα, όπου οι χρήστες κάνουν φυσικά κλικ στο "μου αρέσει" ή "δεν μου αρέσει", αλλά σπάνια κατατάσσουν δύο απαντήσεις δίπλα-δίπλα. Αναμένετε ευρύτερη υιοθέτηση βρόχων συνεχούς βελτίωσης που ανακυκλώνουν την ανατροφοδότηση παραγωγής, καθώς και έρευνα που ρυθμίζει την επιθυμητή προς ανεπιθύμητη αναλογία δεδομένων και το βάρος απώλειας-αποστροφής. Ο συνδυασμός του συμπεριφορικού-οικονομικού πλαισίου του KTO με άλλους στόχους και η εφαρμογή του σε πολυτροπική ανατροφοδότηση, είναι ενεργές κατευθύνσεις καθώς οι ομάδες αναζητούν ευθυγράμμιση από ακατάστατα σήματα του πραγματικού κόσμου.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Οι ροές εργασίας της γλώσσας μπορούν να κινηθούν πιο γρήγορα χωρίς να θυσιάζεται η συνέπεια.
- Πρόσβαση και προσέγγιση χρηστών. Επεκτείνει την πρόσβαση σε όλες τις γλώσσες και τα στυλ επικοινωνίας.
- Σαφέστερες αποφάσεις. Οι ομάδες μπορούν να αφιερώσουν περισσότερο χρόνο στην κρίση, ενώ ο αυτοματισμός χειρίζεται την επανάληψη.
Προσέξτε
- Τα παραισθησιακά γεγονότα μπορούν να εισάγουν αθόρυβα αναφορές, να υποστηρίζουν ροές ή αποτελέσματα έρευνας.
- Η άμεση ευαισθησία μπορεί να δημιουργήσει ασυνεπή αποτελέσματα σε παρόμοια αιτήματα.
- Τα ευαίσθητα δεδομένα κειμένου ενδέχεται να εκτεθούν εάν τα στοιχεία ελέγχου πρόσβασης είναι αδύναμα.
Επόμενα βήματα
- Καθορίστε τη μορφή εξόδου, τον τόνο και τα πρότυπα ποιότητας πριν από την κυκλοφορία.
- Επίγειες απαντήσεις με αξιόπιστες πηγές όποτε έχει σημασία η ακρίβεια.
- Διατηρήστε ένα σημείο ελέγχου ανθρώπινης αξιολόγησης για αποτελέσματα υψηλού πονταρίσματος.
- Παρακολουθήστε τα μοτίβα αποτυχίας και επανεκπαιδεύστε τις προτροπές ή τις ροές εργασίας τακτικά.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Kahneman-Tversky Optimization quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Kahneman-Tversky Optimization?
Η βελτιστοποίηση Kahneman-Tversky (KTO) είναι μια μέθοδος ευθυγράμμισης που μαθαίνει από απλές ετικέτες αντίχειρες ή αντίχειρες αντί για ζευγαρωμένες συγκρίσεις. Έχει σημασία γιατί η δυαδική ανάδραση είναι πολύ πιο εύκολη και φθηνότερη από ό,τι απαιτούν τα ζεύγη κατάταξης που απαιτούν οι περισσότερες μέθοδοι.
Τι είδους δεδομένα απαιτεί η KTO;
Το KTO μαθαίνει από απλές ετικέτες αντίχειρες προς τα πάνω/κάτω ανά παράδειγμα αντί από ταιριαστά ζεύγη προτιμήσεων.
Από ποιο σώμα εμπνέεται το KTO;
Το KTO δανείζεται την ιδέα της θεωρίας προοπτικών να αποτιμά τα κέρδη και τις ζημίες ασύμμετρα, εξ ου και το όνομα.
Τι είναι η «αποστροφή απώλειας» όπως χρησιμοποιείται στο KTO;
Η θεωρία προοπτικής λέει ότι οι απώλειες είναι μεγαλύτερες από τα κέρδη, επομένως το KTO σταθμίζει περισσότερο τις αρνητικές αποκλίσεις.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
Στο KTO, οι αποκλίσεις μετρώνται σε σχέση με τι;
Η συνάρτηση τιμής του KTO κρίνει εάν μια απόκριση βρίσκεται πάνω ή κάτω από μια βασική γραμμή αναφοράς, αντιμετωπίζοντάς το ως κέρδος ή απώλεια.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα