DalšíDalší průvodce
Útoky na těžbu modelu a krádeže
Společnost
PRŮVODCE společností
Kolaps modelu popisuje degradaci, ke které může dojít, když se následující modely rekurzivně učí z generovaných dat a ztrácejí informace o původní distribuci.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to výzkumné zjištění za konkrétních dat a podmínek školení, nikoli důkaz, že každé použití syntetických dat selže.
Generátor aproximuje vzory v distribuci tréninku. Pokud je pozdější model trénován hlavně na vzorcích z této aproximace, mohou se šířit chyby a chybějící vzácné případy. Opakování procesu může zúžit to, co modely představují. Studie Nature z roku 2024 zkoumá toto chování v několika modelových rodinách. Důležité je nastavení tréninku. Nahrazení původních dat generovanými výstupy se liší od uchovávání nezávisle shromážděných dat při přidávání vybraných syntetických příkladů. Filtrování, vzorkování, cíle a hodnocení mohou ovlivnit výsledky. Nepovažujte všechny strategie syntetických dat za jeden experiment. Zaznamenejte původ a proces vytváření školicích materiálů. Ponechte si sadu hodnocení z nezávislých zdrojů, která není regenerována posuzovaným modelem. Měřte vzácné kategorie a rozmanitost i přesnost běžných případů, protože ztrátu pokrytí lze skrýt průměrem. Při testování syntetického augmentace porovnejte reálný datový základ, navrhovanou směs a relevantní alternativy se stejným rozpočtem. Uveďte, které podmínky se zlepšily nebo zhoršily. Užitečný závěr popisuje testované nastavení a nejistotu spíše než předpovídání nevyhnutelného osudu všech systémů AI.
04Zpracovaný příklad
Sestavte datovou sadu hraček s 90 příklady běžného vzoru a 10 vzácných vzorů.
Předpokládejme, že generátor ve svých dalších 100 vzorcích vytvoří pouze dva příklady vzácných vzorů. Trénink pouze na těchto výstupech mění reprezentovanou rovnováhu.
Před opakováním cyklu změřte výkon se vzácným vzorem oproti původním pozdrženým datům.
Co ukazuje
Tento vynalezený scénář ilustruje možný mechanismus, nikoli kvantitativní výsledek citované studie.
Sledujte, zda vzácné kategorie mizí během opakovaných cyklů generování dat.
Porovnejte syntetickou augmentaci se základní linií se zachováním původních dat.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Ne. Výsledky závisí na směsi dat, procesu generování a filtrování, nastavení školení a vyhodnocení. Navrhované použití přímo vyzkoušejte.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Útoky na těžbu modelu a krádeže
Společnost