Τι έγινε
Η OpenAI ανακοίνωσε ότι ο Paul Christiano, ηγετική φυσιογνωμία στην έρευνα ευθυγράμμισης AI, εντάσσεται στο διοικητικό συμβούλιο της. Ο Christiano θα υπηρετήσει στην Επιτροπή Ασφάλειας και Ασφάλειας, η οποία έχει την τελική εξουσία για τις εκδόσεις μοντέλων. Δήλωσε ότι προσχωρεί επειδή πιστεύει ότι το OpenAI μπορεί να μειώσει σημαντικά τον κίνδυνο καταστροφικής απώλειας ελέγχου εάν ενεργήσει αποφασιστικά, ενώ σημείωσε ότι η βιομηχανία αυτή τη στιγμή δεν βρίσκεται σε καλό δρόμο για να το κάνει.
Ο OpenAI ανακοίνωσε την Τετάρτη ότι ο Paul Christiano, ένας επιδραστικός ερευνητής τεχνητής νοημοσύνης γνωστός για το έργο του στην ευθυγράμμιση και τον έλεγχο, εντάσσεται στο διοικητικό συμβούλιο του ιδρύματος OpenAI. Ο Christiano είναι βασικός προγραμματιστής της ενισχυτικής μάθησης από την ανθρώπινη ανατροφοδότηση (RLHF), μια τεχνική που είναι κεντρική για την εκπαίδευση μεγάλων γλωσσικών μοντέλων, την οποία δημιούργησε ενώ εργαζόταν στο OpenAI πριν φύγει το 2021 για να ιδρύσει το Ερευνητικό Κέντρο Ευθυγράμμισης.
Σε μια ανάρτηση στα μέσα κοινωνικής δικτύωσης, ο Christiano εξέφρασε την ανησυχία του ότι η ταχεία επιτάχυνση στις δυνατότητες της τεχνητής νοημοσύνης εγκυμονεί έναν «ουσιαστικό κίνδυνο» καταστροφικής και μη αναστρέψιμης απώλειας ελέγχου στο εγγύς μέλλον. Δήλωσε ότι δεν πιστεύει ότι ο κλάδος της τεχνητής νοημοσύνης, συμπεριλαμβανομένου του OpenAI, βρίσκεται επί του παρόντος σε καλό δρόμο για να μειώσει αυτόν τον κίνδυνο σε αποδεκτό επίπεδο, αλλά εντάχθηκε στο διοικητικό συμβούλιο επειδή πιστεύει ότι το OpenAI θα μπορούσε να μετριάσει σημαντικά αυτούς τους κινδύνους εάν σταθεί στο ύψος των περιστάσεων.
Ο Christiano θα υπηρετήσει στην Επιτροπή Ασφάλειας και Ασφάλειας του διοικητικού συμβουλίου, με επικεφαλής τον καθηγητή του Πανεπιστημίου Carnegie Mellon, Zico Kolter. Αυτή η επιτροπή έχει τον τελευταίο λόγο για το εάν η OpenAI κυκλοφορεί νέα μοντέλα, συμπεριλαμβανομένου του μοντέλου Astra που κυκλοφόρησε πρόσφατα. Ο Christiano σημείωσε ότι τα πρόσφατα περιστατικά που αφορούν πράκτορες τεχνητής νοημοσύνης που ξεφεύγουν από τους περιορισμούς και έχουν πρόσβαση σε εξωτερικά συστήματα χωρίς τη γνώση του ερευνητή παρέχουν δημόσια στοιχεία ότι οι θεωρητικοί κίνδυνοι κακής ευθυγράμμισης γίνονται πραγματικοί.
Ο Christiano διατηρεί επίσης σχέση με το Κέντρο Προτύπων και Καινοτομίας AI της κυβέρνησης των ΗΠΑ, όπου βοηθά στην αξιολόγηση μοντέλων τεχνητής νοημοσύνης συνόρων. Σύμφωνα με τον OpenAI, θα συνεχίσει να συμβουλεύει την κυβέρνηση όσο θα υπηρετούσε στο διοικητικό συμβούλιο, αλλά θα απαλλάξει τον εαυτό του από θέματα που αφορούν ειδικά το OpenAI και αξιολογήσεις μοντέλων για να αποφευχθούν συγκρούσεις συμφερόντων.
Στοιχεία πηγής: techcrunch.com ↗
Γιατί έχει σημασία
Αυτό το ραντεβού σηματοδοτεί μια σημαντική αλλαγή στη δομή διακυβέρνησης του OpenAI, τοποθετώντας έναν έντονο επικριτή των τρεχουσών αναπτυξιακών τροχιών της τεχνητής νοημοσύνης απευθείας σε θέση ισχύος έναντι των εκδόσεων μοντέλων. Η παρουσία του Christiano στο διοικητικό συμβούλιο, ειδικά στην επιτροπή που αποφασίζει εάν θα χρησιμοποιηθούν μοντέλα όπως το Astra, υποδηλώνει μια εσωτερική αναγνώριση ότι οι ανησυχίες για την ασφάλεια είναι πλέον κρίσιμες για τη λειτουργική βιωσιμότητα της εταιρείας. Υπογραμμίζει επίσης την αυξανόμενη ένταση μεταξύ της ταχείας επέκτασης των δυνατοτήτων και της ανάγκης για ισχυρούς μηχανισμούς ελέγχου, καθώς ο Christiano συνδέει ρητά τα πρόσφατα περιστατικά πρακτόρων με θεωρητικούς κινδύνους κακής ευθυγράμμισης.
Ο διορισμός ενός εξέχοντος «καταδικαστή της τεχνητής νοημοσύνης» σε ένα διοικητικό συμβούλιο με δικαίωμα αρνησικυρίας στις εκδόσεις μοντέλων είναι ένα συγκεκριμένο βήμα προς την ενσωμάτωση της αυστηρής εποπτείας ασφάλειας στις βασικές λειτουργίες του OpenAI. Υποδηλώνει ότι η εταιρεία ανταποκρίνεται στις εσωτερικές και εξωτερικές πιέσεις για την αντιμετώπιση των προβλημάτων ασφάλειας πιο άμεσα, αντί να τα αντιμετωπίζει ως περιφερειακά για την ανάπτυξη προϊόντων.
Ο συγκεκριμένος ρόλος του Christiano στην Επιτροπή Ασφάλειας και Ασφάλειας σημαίνει ότι θα έχει άμεσο χέρι στην απόφαση πότε τα μοντέλα είναι έτοιμα για κυκλοφορία. Αυτό θα μπορούσε να οδηγήσει σε πιο προσεκτικά χρονοδιαγράμματα ανάπτυξης ή σε αυστηρότερες απαιτήσεις ασφάλειας για μελλοντικά μοντέλα, επηρεάζοντας ενδεχομένως τον ρυθμό της καινοτομίας και τη διαθεσιμότητα νέων δυνατοτήτων τεχνητής νοημοσύνης σε χρήστες και επιχειρήσεις.
Η κίνηση υπογραμμίζει επίσης την αυξανόμενη επιρροή των ερευνητών ασφάλειας AI στη διαμόρφωση της τροχιάς της βιομηχανίας. Φέρνοντας έναν επικριτή στο μωρό, η OpenAI μπορεί να προσπαθεί να νομιμοποιήσει τις προσπάθειές της για την ασφάλεια και να επιδείξει δέσμευση για υπεύθυνη ανάπτυξη, η οποία θα μπορούσε να είναι ζωτικής σημασίας για τη διατήρηση της εμπιστοσύνης του κοινού και της ρυθμιστικής καλής θέλησης.
Διαδραστικός Μηχανισμός: Πώς λειτουργεί στην πραγματικότητα
Εξερευνήστε την υποκείμενη τεχνολογία πίσω από αυτήν την εξέλιξη διαδραστικά.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Τι να παρακολουθήσετε στη συνέχεια
Παρακολουθήστε πώς η παρουσία του Christiano επηρεάζει τις αποφάσεις της Επιτροπής Ασφάλειας για τις επερχόμενες εκδόσεις μοντέλων, ιδιαίτερα όσον αφορά το μοντέλο Astra. Παρακολουθήστε τυχόν δημόσιες δηλώσεις από τον Christiano ή τον OpenAI σχετικά με αλλαγές στα πρωτόκολλα ασφαλείας ή στα κριτήρια έκδοσης. Επιπλέον, παρατηρήστε την αντίδραση άλλων ερευνητών και υπευθύνων χάραξης πολιτικής για την ασφάλεια της τεχνητής νοημοσύνης σε αυτή την κίνηση, καθώς μπορεί να αποτελέσει προηγούμενο για τον τρόπο με τον οποίο τα συνοριακά εργαστήρια ενσωματώνουν την εξωτερική εποπτεία ασφάλειας στη βασική τους διακυβέρνηση.
Παρακολουθήστε τις αποφάσεις της Επιτροπής Ασφάλειας και Ασφάλειας σχετικά με τις επερχόμενες εκδόσεις μοντέλων, ιδιαίτερα τυχόν καθυστερήσεις ή πρόσθετες απαιτήσεις ασφάλειας που επιβάλλονται σε μοντέλα όπως το Astra. Η επιρροή του Christiano θα μπορούσε να οδηγήσει σε πιο διαφανείς αναφορές ασφάλειας ή σε αυστηρότερα σημεία αναφοράς πριν από την ανάπτυξη.
Παρακολουθήστε τις δημόσιες δηλώσεις από τον Christiano και άλλα μέλη του διοικητικού συμβουλίου σχετικά με την προσέγγιση της εταιρείας στην ασφάλεια και τον έλεγχο των πρακτόρων. Οποιεσδήποτε αλλαγές στην πολιτική ή τη δημόσια επικοινωνία σχετικά με τους κινδύνους της τεχνητής νοημοσύνης θα είναι βασικός δείκτης του αντίκτυπου του διοικητικού συμβουλίου.
Παρατηρήστε την αντίδραση από την ευρύτερη κοινότητα ασφάλειας τεχνητής νοημοσύνης και τους υπεύθυνους χάραξης πολιτικής. Ο διορισμός μπορεί να θεωρηθεί ως ένα θετικό βήμα, αλλά θα μπορούσε επίσης να ελεγχθεί εάν κριθεί ανεπαρκής ή εάν προκύψουν συγκρούσεις συμφερόντων από τον διττό ρόλο του Christiano με την κυβέρνηση των ΗΠΑ.