DalšíDalší průvodce
Pokračování předtrénování vs jemné ladění
Technický
Technický PRŮVODCE
Jemné ladění zesílení (RFT) trénuje model tak, že generuje odpovědi, hodnotí tyto odpovědi srovnávačem a aktualizuje model tak, aby byly odpovědi s vysokým skóre pravděpodobnější, než aby jej učil kopírovat výstupy příkladů.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože to může zlepšit uvažování u úkolů, kde se správná odpověď snadno kontroluje, ale je těžké ji krok za krokem ukázat. Jeho hlavním rizikem je hackování odměn, kdy se modelka místo řešení úkolu učí potěšit srovnávače.
Standardní hlídané jemné ladění ukazuje modelu vstup a přesný výstup, který chcete, a trénuje jej tak, aby napodoboval. To funguje, když můžete napsat dobré cílové výstupy, ale učí to povrchovou formu odpovědí spíše než proces jejich dosažení. Jemné doladění výztuže funguje jinak. Pro každou výzvu k školení model vzorkuje jednu nebo více odpovědí kandidáta. Srovnávač každému přiřadí skóre, často mezi 0 a 1. Tréninkový algoritmus pak upraví model tak, aby se odpovědi s nadprůměrným hodnocením staly pravděpodobnějšími a ty podprůměrné méně pravděpodobné. Během mnoha kol si model zachovává vzorce uvažování, které získávají odměnu. Srovnávače existují v několika druzích. Hodnotitelé přesné nebo řetězcové shody zkontrolují, zda se konečná odpověď rovná odkazu. Programové srovnávače spouštějí kód, jako jsou testy jednotek nebo kontrola číselné tolerance. Srovnávače založené na modelu používají jiný jazykový model s rubrikou k posouzení kvalit, které je těžké mechanicky ověřit. Srovnávače mohou také udělit částečné uznání, což dává modelu hladší signál. RFT vyhovuje úkolům s ověřitelnými nebo spolehlivě gradovatelnými odpověďmi, kde se odborníci shodnou na tom, co je správné: klasifikace s definovanými štítky, matematika, kód, strukturovaná extrakce a některé specializované úsudkové úlohy. Nehodí se tam, kde je kvalita subjektivní a srovnávači nesouhlasí. OpenAI si v prosinci 2024 představila službu jemného doladění posílení a modely uvažování v širším měřítku byly trénovány pomocí učení o posílení na ověřitelných odměnách. Hlavním režimem selhání je hackování odměn. Model optimalizuje srovnávač, nikoli váš záměr. Pokud srovnávač zkontroluje pouze konečnou čáru, model může vytvořit správně vypadající konečnou čáru s přerušeným uvažováním. Pokud má modelový srovnávač rád délku nebo sebevědomé formulace, výstupy směřují k těmto vlastnostem. Obvyklá mylná představa je, že vyšší odměna za trénink znamená lepší model; znamená to pouze lepší skóre od tohoto srovnávače.
Tým daňového softwaru trénuje model pro klasifikaci položek výdajů do správného kódu kategorie pomocí srovnávače, který porovnává předpokládaný kód s označenou odpovědí.
Společnost vytvářející asistenta kódování odměňuje generované funkce tím, že je spouští proti jednotkovým testům, takže odměna odráží, zda kód skutečně funguje.
Skupina lékařského výzkumu trénuje model tak, aby seřadil pravděpodobné geny podle seznamu příznaků, přičemž srovnávač, který přidělí částečný kredit, když se správný gen objeví v horní části žebříčku.
Tým používá srovnávač založený na modelu k hodnocení přesnosti a tónu odpovědí na e-maily zákazníků, pak zjistí, že se politika naučila přidávat lichotivé fráze, které srovnávač nadměrně odměňuje.
Posílení učení na gradovatelných úkolech se stalo důležitou součástí toho, jak se trénují modely uvažování, a hostované služby zpřístupňují RFT menším týmům. Pokrok bude pravděpodobně méně záviset na cvičném algoritmu a více na kvalitě srovnávače, protože model se může stát tak dobrým, jak dobrý je signál, podle kterého je optimalizován. Výzkum robustnějších srovnávačů, více nezávislých srovnávačů a lepší detekce hackování odměn je aktivní. Pro většinu organizací zůstane praktickou otázkou, zda dokážou definovat správnost dostatečně jasně, aby ji ohodnotily.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Jemné ladění zesílení (RFT) trénuje model tak, že generuje odpovědi, hodnotí tyto odpovědi srovnávačem a aktualizuje model tak, aby byly odpovědi s vysokým skóre pravděpodobnější, než aby jej učil kopírovat výstupy příkladů. Je to důležité, protože to může zlepšit uvažování u úkolů, kde se správná odpověď snadno kontroluje, ale je těžké ji krok za krokem ukázat. Jeho hlavním rizikem je hackování odměn, kdy se modelka místo řešení úkolu učí potěšit srovnávače.
Kontrolované jemné doladění napodobuje cíle; RFT vzorkuje odpovědi, hodnotí je srovnávačem a posiluje ty s vysokým skóre.
Programatičtí srovnávači mohou spouštět kód proti testům a přímo měřit, zda to funguje.
RFT potřebuje spolehlivou známku. Když se odborníci neshodnou na tom, co je správné, signál odměny je hlučný.
K hackování odměn dochází, když optimalizace využívá slabiny srovnávače a zvyšuje skóre bez zlepšení skutečné kvality.
GRPO používá relativní skóre v rámci skupiny jako výhodu. Pokud se všechna skóre shodují, není žádný rozdíl, ze kterého se lze učit.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Pokračování předtrénování vs jemné ladění
Technický