AI constituțional
IA constituțională este metoda lui Anthropic pentru alinierea modelelor folosind un set scris de principii — o „constituție” — astfel încât AI își critică și își revizuiește propriile răspunsuri în loc să se bazeze doar pe oameni pentru a eticheta conținutul dăunător.
Prezentare generală
It aims to make models helpful and harmless with far less human labor.
Scufundare în profunzime
Alinierea tradițională se bazează pe învățarea prin consolidare din feedbackul uman (RLHF), în care oamenii clasează o mulțime de rezultate ale modelului, inclusiv cele perturbatoare, pentru a învăța modelul ce să evite. IA constituțională reduce această povară, oferind modelului o listă explicită de principii scrise extrase din surse precum Declarația ONU a drepturilor omului și cele mai bune practici de încredere și siguranță. Antrenamentul are două etape. În primul rând, o etapă supravegheată: modelul generează un răspuns, apoi îl critică împotriva unui principiu constituțional și îl rescrie pentru a fi mai bun; aceste răspunsuri auto-îmbunătățite sunt folosite pentru a-l regla fin. În al doilea rând, o etapă de întărire-învățare, RLAIF, în care modelul însuși clasifică perechile de răspunsuri în funcție de constituție, iar datele de preferințe generate de AI antrenează un model de recompensă. Principiile sunt transparente și editabile, ceea ce face ca valorile care conduc modelul să fie mai degrabă inspectabile decât ascunse în etichete umane opace.
Perspectivă tehnică
Cele două faze sunt adesea numite SL-CAI și RL-CAI. În învățarea supervizată, o buclă de „critică și revizuire” determină modelul să găsească unde propriul răspuns încalcă un principiu eșantionat și să-l rescrie, generând date de antrenament fără etichetare a prejudiciului uman. În faza RL, un al doilea model judecă care dintre două răspunsuri respectă mai bine constituția, producând etichete de preferințe AI (RLAIF) care antrenează un model de recompensă utilizat în RL standard. Constituția este un ghid în text simplu injectat în prompturi, astfel încât schimbarea comportamentului modelului poate fi la fel de directă ca și editarea principiilor.
Impact strategic
Viteză și scară
Fluxurile de lucru lingvistice se pot deplasa mai rapid fără a sacrifica consistența.
Acces și acoperire
Extinde accesul în diferite limbi și stiluri de comunicare.
Decizii mai clare
Echipele pot petrece mai mult timp jucând în timp ce automatizarea se ocupă de repetiție.
Viitorul AI constituțional
AI constituțională indică o „supraveghere scalabilă”, în care AI ajută la supravegherea AI pe măsură ce modelele devin prea capabile pentru ca oamenii să verifice fiecare rezultat. Așteptați-vă constituții mai bogate și mai nuanțate, contribuții publice și participative în care sunt alese principiile (Anthropic a desfășurat experimente de „IA constituțională colectivă”) și abordări hibride care combină feedbackul uman cu autocritica AI. Transparența principiilor scrise face acest lucru atractiv pentru autoritățile de reglementare și auditorii care doresc să vadă valorile pe care le codifică un sistem. Pe măsură ce modelele de frontieră avansează, metodele care permit modelelor să se critice și să se îmbunătățească în mod fiabil față de regulile explicite vor deveni probabil esențiale pentru siguranță.
Implementare în lumea reală
Antrenarea unui chatbot să refuze să ajute la construirea unei arme punându-l să-și critice propriul răspuns schiță împotriva unui principiu de evitare a vătămării și să-l rescrie
Înlocuirea etichetării costisitoare de echipe roșii umane a ieșirilor toxice cu date de preferințe generate de AI (RLAIF) ghidate de constituție
Editarea unui principiu scris pentru a ajusta cât de prudent este un model, apoi observarea schimbării comportamentului fără a reeticheta mii de exemple
Desfășurarea unor exerciții colective de input în care publicul propune principii care modelează constituția modelului
Riscuri și balustrade
Faptele halucinate pot intra în liniște în rapoarte, fluxuri de sprijin sau rezultate ale cercetării.
Sensibilitatea promptă poate crea rezultate inconsecvente pentru solicitări similare.
Datele text sensibile pot fi expuse dacă controalele de acces sunt slabe.
Foaia de parcurs de implementare
Definiți formatul de ieșire, tonul și standardele de calitate înainte de lansare.
Răspunsurile la sol cu surse de încredere ori de câte ori acuratețea contează.
Păstrați un punct de control uman pentru rezultate cu mize mari.
Urmăriți tiparele de eșec și reantrenați în mod regulat solicitările sau fluxurile de lucru.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Constitutional AI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
Reglajul instrucțiunilor
Întrebări frecvente
What is Constitutional AI?
IA constituțională este metoda lui Anthropic pentru alinierea modelelor folosind un set scris de principii — o „constituție” — astfel încât AI își critică și își revizuiește propriile răspunsuri în loc să se bazeze doar pe oameni pentru a eticheta conținutul dăunător. Acesta își propune să facă modelele utile și inofensive cu mult mai puțină muncă umană.
Ce este „constituția” în Constituțional AI?
Constituția este un set transparent de principii scrise, extrase din surse precum documentele privind drepturile omului, pe care modelul le folosește pentru a-și evalua și îmbunătăți răspunsurile.
Ce problemă cheie cu RLHF standard își propune să reducă AI constituțional?
Prin criticarea modelului împotriva principiilor, IA constituțională reduce munca umană de revizuire și etichetare a rezultatelor perturbatoare sau dăunătoare.
În etapa supravegheată a IA constituțională, ce face modelul propriei sale rezultate?
Modelul rulează o buclă de critică și revizuire: identifică unde proiectul său încalcă un principiu eșantionat, apoi rescrie răspunsul, creând date de antrenament auto-îmbunătățite.
Ce reprezintă RLAIF în etapa de întărire-învățare?
RLAIF înseamnă Reinforcement Learning from AI Feedback: un model clasifică răspunsurile în funcție de constituție, producând date de preferințe generate de AI în loc de etichete umane.
De ce utilizarea principiilor scrise este considerată un avantaj pentru transparență?
Deoarece valorile ghid sunt scrise, ele pot fi inspectate, auditate și editate direct, spre deosebire de preferințele codificate implicit în evaluările umane împrăștiate.