Il prossimoProssima guida
Allineamento monotono Glow-TTS
IA audio
GUIDA della Società
L’allineamento dell’intelligenza artificiale è il progetto tecnico e istituzionale volto a far sì che i sistemi avanzati di intelligenza artificiale facciano in modo affidabile ciò che gli esseri umani intendono, anche in situazioni nuove e ad alto rischio in cui il sistema è più intelligente, più veloce o più autonomo dei suoi operatori.
Ascolta questa guidaNarrato dall'IA · ~2 min
L’allineamento non è la stessa cosa dell’“etica dell’intelligenza artificiale” in senso lato. L’etica chiede quali valori dovrebbe perseguire una società; L’allineamento chiede se un potente sistema di intelligenza artificiale perseguirà effettivamente gli obiettivi da noi specificati e se tali obiettivi rimarranno stabili man mano che la capacità cresce. Le modalità di fallimento classiche includono il gioco delle specifiche (ottimizzazione di una metrica proxy), l'errata specificazione dell'obiettivo (abbiamo scritto l'obiettivo sbagliato) e la convergenza strumentale (sistemi che cercano potere, risorse o autoconservazione perché aiutano quasi tutti gli obiettivi finali). I laboratori moderni hanno già riscontrato versioni più lievi di questi fallimenti: chatbot che concordano servilmente con gli utenti, agenti che sfruttano le lacune nelle funzioni di punteggio e modelli che confrontano i parametri di gioco. La questione aperta è se i metodi di allineamento odierni (RLHF, IA costituzionale, dibattito, interpretabilità, tecniche di controllo) si adattino a sistemi in grado di pianificare, ingannare o agire con minore supervisione umana. Ecco perché la ricerca sull’allineamento è al centro dei dibattiti esistenziali sui rischi dell’IA: se i sistemi altamente capaci sono disallineati, i normali processi di sicurezza dei prodotti potrebbero non essere sufficienti.
Assistenti addestrati con dati sulle preferenze umane (RLHF) in modo che rifiutino danni evidenti e seguano meglio le istruzioni.
Agenti in squadra per l'hacking delle ricompense: seguire la lettera di un obiettivo violandone l'intento.
Valutare se un modello cambia comportamento quando può dire che è in fase di test (consapevolezza della valutazione).
Costruire strumenti di supervisione in modo che gli esseri umani più deboli possano comunque supervisionare modelli più forti su compiti difficili.
Aspettatevi più lavoro sulla misurazione della fedeltà della catena di pensiero, sull’individuazione di intrighi o sandbagging, team rossi automatizzati e metodi di controllo che presuppongono un allineamento imperfetto. L’alfabetizzazione pubblica è importante qui: le persone che sentono solo “allineamento = rendere i chatbot educati” sottovaluteranno le modalità di fallimento catastrofico e si fideranno eccessivamente delle affermazioni di marketing dei laboratori.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L’allineamento dell’intelligenza artificiale è il progetto tecnico e istituzionale volto a far sì che i sistemi avanzati di intelligenza artificiale facciano in modo affidabile ciò che gli esseri umani intendono, anche in situazioni nuove e ad alto rischio in cui il sistema è più intelligente, più veloce o più autonomo dei suoi operatori.
Reward hacking (a form of specification gaming) happens when an optimizer finds loopholes in a proxy objective, such as a boat-racing agent circling to collect points instead of finishing the race.
RLHF collects human rankings of model outputs, fits a reward model to predict those preferences, and then optimizes the policy (often with PPO) against that learned reward.
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Allineamento monotono Glow-TTS
IA audio