Kvíz spojený s průvodcem · Těžko úroveň
Kvíz o zákonech o omezení měřítka dat
Důvodem jsou omezená jedinečná data, opakované tréninkové tokeny, epochální rozpočty, klesající výnosy, zdržené hodnocení a změny ve směsích dat.
Otázka 1 z 8
Korpus obsahuje deset miliard unikátních tokenů a je zpracován po tři kompletní epochy. Které účetnictví je správné?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Korpus obsahuje deset miliard unikátních tokenů a je zpracován po tři kompletní epochy. Které účetnictví je správné?
- Deset miliard unikátních tokenů a třicet miliard zpracovaných tokenů
- Třicet miliard unikátních tokenů a deset miliard zpracovaných tokenů
- Tři miliardy unikátních tokenů a třicet miliard zpracovaných tokenů
- Třicet miliard nezávislých dokumentů
- Proč mohou dva běhy se stejným počtem zpracovaných tokenů učit odlišně?
- Počty tokenů přesně určují kvalitu
- Jeden může využívat více unikátních informací, zatímco druhý opakuje menší korpus
- Každý opakovaný token přidává stejný nezávislý důkaz jako čerstvá data
- Pouze počet epoch může ovlivnit učení
- Jak by se mělo interpretovat zjištění citované studie o přibližně čtyřech epochách?
- Každý model musí skončit přesně po čtyřech epochách
- Čtyři epochy vždy znamenají čtyřnásobek unikátních dat
- Jedná se o empirický výsledek v testovaných podmínkách, ne o univerzální pravidlo tréninku
- Dokazuje, že kvalita dat nikdy nehraje roli
- Co představuje v tomto kontextu odhadnuté množství efektivních dat?
- Přesný počet originálních dokumentů
- Velikost úložiště datasetu
- Zaručený počet nezávislých faktů
- Měřítko modelování, které může odečíst opakované expozice
- Tréninková ztráta stále klesá, zatímco ztráta na odložených datech roste po více opakováních. Která reakce následuje pokyny?
- Prozkoumat memorování nebo nesoulad před prodloužením běhu
- Ignorovat výsledky na odložených datech, protože se zlepšil tréninkový výsledek
- Přidat odložené příklady do tréninku a zachovat stejný evaluační nárok
- Předpokládejte, že je nutné přidat více epoch, aby se problém vyřešil
- Jaká příprava pomáhá udělat porovnání unikátních tokenů smysluplným napříč experimenty?
- Změňte tokenizéry bez dokumentace
- Zaznamenejte tokenizaci, filtrování a zacházení s duplicitami
- Zveřejněte pouze počet kontrolních bodů
- Každý vygenerovaný kopii počítejte jako nová nezávislá data
- Co by měl tým udělat, když přidává kódy nebo syntetický materiál do omezeného textového korpusu?
- Předpokládejte, že jakýkoli další token zlepšuje každou úlohu
- Přeskočte kontroly původu, pokud se celkový výpočet nezmění
- Vyhodnoťte novou směs na relevantních odložených úlohách a zkontrolujte původ a překrytí
- Všechno vygenerované texty považujte za ověřenou pravdivost
- Jaká omezení mohou zůstat i když tým trénuje větší model na více opakováních?
- Počet zpracovaných tokenů musí zůstat konstantní
- Původní korpus se automaticky zvětší
- Odložený soubor se stává nepotřebným
- Chybějící pokrytí domény může stále chybět