Kvíz spojený s průvodcem · Těžko úroveň

Kvíz o zákonech o omezení měřítka dat

Důvodem jsou omezená jedinečná data, opakované tréninkové tokeny, epochální rozpočty, klesající výnosy, zdržené hodnocení a změny ve směsích dat.

Související vodicí cestyZákony škálování omezené daty
Otázka 1 z 8

Korpus obsahuje deset miliard unikátních tokenů a je zpracován po tři kompletní epochy. Které účetnictví je správné?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Korpus obsahuje deset miliard unikátních tokenů a je zpracován po tři kompletní epochy. Které účetnictví je správné?
    • Deset miliard unikátních tokenů a třicet miliard zpracovaných tokenů
    • Třicet miliard unikátních tokenů a deset miliard zpracovaných tokenů
    • Tři miliardy unikátních tokenů a třicet miliard zpracovaných tokenů
    • Třicet miliard nezávislých dokumentů
  2. Proč mohou dva běhy se stejným počtem zpracovaných tokenů učit odlišně?
    • Počty tokenů přesně určují kvalitu
    • Jeden může využívat více unikátních informací, zatímco druhý opakuje menší korpus
    • Každý opakovaný token přidává stejný nezávislý důkaz jako čerstvá data
    • Pouze počet epoch může ovlivnit učení
  3. Jak by se mělo interpretovat zjištění citované studie o přibližně čtyřech epochách?
    • Každý model musí skončit přesně po čtyřech epochách
    • Čtyři epochy vždy znamenají čtyřnásobek unikátních dat
    • Jedná se o empirický výsledek v testovaných podmínkách, ne o univerzální pravidlo tréninku
    • Dokazuje, že kvalita dat nikdy nehraje roli
  4. Co představuje v tomto kontextu odhadnuté množství efektivních dat?
    • Přesný počet originálních dokumentů
    • Velikost úložiště datasetu
    • Zaručený počet nezávislých faktů
    • Měřítko modelování, které může odečíst opakované expozice
  5. Tréninková ztráta stále klesá, zatímco ztráta na odložených datech roste po více opakováních. Která reakce následuje pokyny?
    • Prozkoumat memorování nebo nesoulad před prodloužením běhu
    • Ignorovat výsledky na odložených datech, protože se zlepšil tréninkový výsledek
    • Přidat odložené příklady do tréninku a zachovat stejný evaluační nárok
    • Předpokládejte, že je nutné přidat více epoch, aby se problém vyřešil
  6. Jaká příprava pomáhá udělat porovnání unikátních tokenů smysluplným napříč experimenty?
    • Změňte tokenizéry bez dokumentace
    • Zaznamenejte tokenizaci, filtrování a zacházení s duplicitami
    • Zveřejněte pouze počet kontrolních bodů
    • Každý vygenerovaný kopii počítejte jako nová nezávislá data
  7. Co by měl tým udělat, když přidává kódy nebo syntetický materiál do omezeného textového korpusu?
    • Předpokládejte, že jakýkoli další token zlepšuje každou úlohu
    • Přeskočte kontroly původu, pokud se celkový výpočet nezmění
    • Vyhodnoťte novou směs na relevantních odložených úlohách a zkontrolujte původ a překrytí
    • Všechno vygenerované texty považujte za ověřenou pravdivost
  8. Jaká omezení mohou zůstat i když tým trénuje větší model na více opakováních?
    • Počet zpracovaných tokenů musí zůstat konstantní
    • Původní korpus se automaticky zvětší
    • Odložený soubor se stává nepotřebným
    • Chybějící pokrytí domény může stále chybět