ΕπόμενοΕπόμενος οδηγός
Μονοτονική ευθυγράμμιση Glow-TTS
Ήχος AI
ΟΔΗΓΟΣ Κοινωνίας
Ευθυγράμμιση AI
Η ευθυγράμμιση τεχνητής νοημοσύνης είναι το τεχνικό και θεσμικό έργο που κάνει τα προηγμένα συστήματα τεχνητής νοημοσύνης να κάνουν αξιόπιστα αυτό που σκοπεύουν οι άνθρωποι — συμπεριλαμβανομένων καινοτόμων καταστάσεων υψηλού κινδύνου όπου το σύστημα είναι πιο έξυπνο, πιο γρήγορο ή πιο αυτόνομο από τους χειριστές του.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Βαθιά κατάδυση
Η ευθυγράμμιση δεν είναι η ίδια με την «ηθική τεχνητής νοημοσύνης» με την ευρεία έννοια. Η ηθική ρωτά ποιες αξίες πρέπει να επιδιώκει μια κοινωνία. Η ευθυγράμμιση ρωτά εάν ένα ισχυρό σύστημα τεχνητής νοημοσύνης θα επιδιώξει πραγματικά τους στόχους που καθορίζουμε — και εάν αυτοί οι στόχοι παραμένουν σταθεροί καθώς αυξάνεται η ικανότητα. Οι κλασικές λειτουργίες αποτυχίας περιλαμβάνουν το παιχνίδι προδιαγραφών (βελτιστοποίηση μιας μέτρησης διακομιστή μεσολάβησης), την εσφαλμένη προδιαγραφή στόχου (γράψαμε λάθος στόχο) και τη σύγκλιση οργάνων (συστήματα που αναζητούν ισχύ, πόρους ή αυτοσυντήρηση, επειδή αυτά βοηθούν σχεδόν κάθε τελικό στόχο). Τα σύγχρονα εργαστήρια έχουν ήδη χτυπήσει πιο ήπιες εκδόσεις αυτών των αποτυχιών: chatbots που συμφωνούν με τους χρήστες, πράκτορες που εκμεταλλεύονται τα κενά στις λειτουργίες βαθμολόγησης και μοντέλα που σημαδεύουν το παιχνίδι. Το ανοιχτό ερώτημα είναι εάν οι σημερινές μέθοδοι ευθυγράμμισης (RLHF, συνταγματική τεχνητή νοημοσύνη, συζήτηση, ερμηνευτικότητα, τεχνικές ελέγχου) κλιμακώνονται σε συστήματα που μπορούν να σχεδιάσουν, να εξαπατήσουν ή να δράσουν με λιγότερη ανθρώπινη επίβλεψη. Αυτός είναι ο λόγος για τον οποίο η έρευνα ευθυγράμμισης βρίσκεται στο επίκεντρο των συζητήσεων για τους υπαρξιακούς κινδύνους τεχνητής νοημοσύνης: εάν τα συστήματα υψηλής ικανότητας δεν ευθυγραμμιστούν σωστά, οι συνήθεις διαδικασίες ασφάλειας προϊόντων μπορεί να μην είναι αρκετές.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση βοηθών με δεδομένα ανθρώπινης προτίμησης (RLHF), ώστε να αρνούνται σαφή βλάβη και να ακολουθούν καλύτερα τις οδηγίες.
Red-teaming agents για hacking ανταμοιβής: ακολουθώντας το γράμμα ενός στόχου ενώ παραβιάζετε την πρόθεσή του.
Αξιολόγηση εάν ένα μοντέλο αλλάζει συμπεριφορά όταν μπορεί να πει ότι δοκιμάζεται (αίσθηση αξιολόγησης).
Κατασκευάζοντας εργαλεία επίβλεψης ώστε οι πιο αδύναμοι άνθρωποι να μπορούν να επιβλέπουν ισχυρότερα μοντέλα σε δύσκολες εργασίες.
Το μέλλον της ευθυγράμμισης AI
Αναμένετε περισσότερη δουλειά για τη μέτρηση της πιστότητας της αλυσίδας σκέψης, την ανίχνευση ραδιουργίας ή σακούλας με άμμο, την αυτοματοποιημένη ομαδοποίηση του κόκκινου και τις μεθόδους ελέγχου που προϋποθέτουν ατελή ευθυγράμμιση. Ο δημόσιος αλφαβητισμός έχει σημασία εδώ: οι άνθρωποι που ακούν μόνο «ευθυγράμμιση = κάνουν τα chatbot ευγενικά» θα υποβαθμίσουν τις καταστροφικές λειτουργίες αποτυχίας και θα υπερεμπιστεύονται τους ισχυρισμούς μάρκετινγκ από τα εργαστήρια.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κίνδυνος και ασφάλεια. Οι καταστροφικές και οι καθημερινές βλάβες της τεχνητής νοημοσύνης εξαρτώνται από το ποιος κατανοεί τους κινδύνους και ποιος μπορεί να δράσει.
- Σαφέστερες αποφάσεις. Ο δημόσιος και επαγγελματικός γραμματισμός διαμορφώνει εάν είναι πολιτικά δυνατή η ισχυρή πολιτική ασφάλειας.
- Κόβοντας τη διαφημιστική εκστρατεία. Οι σαφείς εξηγήσεις μειώνουν τη λήψη από διαφημιστική εκστρατεία, εργαστηριακές σχέσεις δημοσίων σχέσεων και αόριστες θεατρικές ηθικές.
Προσέξτε
- Αντιμετώπιση του υπαρξιακού κινδύνου ως ενώσεις επιστημονικής φαντασίας και ικανότητας.
- Συγχέοντας την ασφάλεια του προϊόντος της επιφάνειας με την ευθυγράμμιση υπό υψηλή αυτονομία.
- Αφήνοντας μη αγγλικά και μη εξειδικευμένα είδη κοινού με πηγές μόνο χαμηλής ποιότητας.
Επόμενα βήματα
- Ξεχωρίστε τους κινδύνους βλαβών, κακής χρήσης και απώλειας ελέγχου / κακής ευθυγράμμισης του προϊόντος.
- Ρωτήστε ποια στοιχεία θα άλλαζαν την άποψή σας για τα χρονοδιαγράμματα και τη σοβαρότητα.
- Προτιμήστε τις πρωτογενείς πηγές και τις συγκεκριμένες αξιολογήσεις έναντι των ισχυρισμών μάρκετινγκ.
- Προσδιορίστε ένα μονοπάτι δράσης: καριέρα, πολιτική, χρηματοδότηση ή δεξιότητες — όχι μόνο ευαισθητοποίηση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the AI Alignment quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το AI Alignment;
Η ευθυγράμμιση τεχνητής νοημοσύνης είναι το τεχνικό και θεσμικό έργο που κάνει τα προηγμένα συστήματα τεχνητής νοημοσύνης να κάνουν αξιόπιστα αυτό που σκοπεύουν οι άνθρωποι — συμπεριλαμβανομένων καινοτόμων καταστάσεων υψηλού κινδύνου όπου το σύστημα είναι πιο έξυπνο, πιο γρήγορο ή πιο αυτόνομο από τους χειριστές του.
Στην έρευνα ευθυγράμμισης, τι περιγράφει ο όρος "hacking ανταμοιβής";
Το hacking ανταμοιβής (μια μορφή παιχνιδιού προδιαγραφών) συμβαίνει όταν ένας βελτιστοποιητής βρίσκει κενά σε έναν στόχο μεσολάβησης, όπως ένας πράκτορας αγώνων σκαφών που κάνει κύκλους για να συγκεντρώσει πόντους αντί να τελειώσει τον αγώνα.
Στο RLHF, ποιος είναι ο ρόλος του μοντέλου ανταμοιβής;
Το RLHF συλλέγει ανθρώπινες κατατάξεις των αποτελεσμάτων του μοντέλου, προσαρμόζει ένα μοντέλο ανταμοιβής για να προβλέψει αυτές τις προτιμήσεις και στη συνέχεια βελτιστοποιεί την πολιτική (συχνά με PPO) έναντι αυτής της μαθημένης ανταμοιβής.
What does goal misspecification mean in the guide?
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Which description matches instrumental convergence in the guide?
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
Which modern alignment approach is named in the guide?
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα