Alapok ÚTMUTATÓ

Grokking és a késleltetett általánosítás

Grokking describes studied cases where held-out generalization improves well after a network has fit its training examples.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Grokking jövője és a késleltetett általánosítás
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Small algorithmic tasks provide clear experiments, but neither a validation plateau nor longer training guarantees that this transition will occur.

Mély merülés

The original grokking paper, publicly submitted in January 2022, studies small algorithmically generated datasets. In some experiments, a network fits the training data while held-out performance remains poor, then generalizes after substantially more optimization. This separates fitting observed examples from learning behavior that transfers to unseen examples of the underlying task. It does not mean that every model has near-zero validation accuracy during an initial plateau or that memorization must always disappear completely. The original study varies dataset sizes and optimization choices, including weight decay. Its findings concern those setups rather than a unique universal explanation of generalization. Progress Measures for Grokking via Mechanistic Interpretability investigates small transformers trained on modular addition. The studied algorithm uses Fourier structure and trigonometric identities to represent addition through circular relationships. The researchers examine activations and weights and use Fourier-space ablations to test their account. They describe memorization, circuit formation, and cleanup phases, with generalizing structure emerging before the visible jump in test accuracy. Weight decay removes memorization components during the studied cleanup process. This is more specific than a story in which the entire algorithm appears suddenly at the accuracy jump. Modular tasks offer exact labels: for example, adding six and five modulo seven gives four because eleven leaves remainder four after division by seven. The original paper also reports increasing optimization requirements as training datasets become smaller. Such controlled experiments motivate further research, but do not establish that a large deployed model will eventually improve if trained indefinitely.

Valós megvalósítás

Plotting training and held-out accuracy on a modular-arithmetic experiment.

Comparing regularization settings on a defined small algorithmic dataset.

Inspecting the Fourier-based circuit studied in a small transformer.

Varying training-set size while recording the optimization needed for held-out performance.

Grokking jövője és a késleltetett általánosítás

Controlled experiments can test how dataset size, architecture, regularization, and optimization affect delayed generalization. Progress measures based on a verified circuit may reveal behavior hidden by an overall accuracy curve, though scaling such analysis to larger models remains an open question. Researchers should distinguish a measured mechanism in a small task from a proposed explanation for every model. Practical stopping decisions still need evaluation, resource constraints, and evidence of progress; the existence of grokking provides a reason to investigate some plateaus rather than a rule to continue all training indefinitely.

A gyakorlatba ültetés

Miért számít

  • Tisztább döntések. Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
  • Költség és költségvetés. Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
  • Csapat és munkafolyamat. A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.

Vigyázz

  • A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
  • A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
  • Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.

Következő lépések

  1. Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
  2. A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
  3. Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
  4. Dokumentálja, ahol a Grokking és a Késleltetett általánosítás segít, és hol jobbak az egyszerűbb módszerek.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Grokking and Delayed Generalization quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Grokking és a késleltetett általánosítás?

Grokking describes studied cases where held-out generalization improves well after a network has fit its training examples. Small algorithmic tasks provide clear experiments, but neither a validation plateau nor longer training guarantees that this transition will occur.

Which performance pattern characterizes the studied grokking phenomenon?

The delay concerns generalization beyond observed examples under the studied setup.

Which tasks did the original grokking paper use as a controlled setting?

The public paper was submitted in January 2022 and studies small algorithmic datasets.

Which regularization intervention was among those examined in the original grokking experiments?

The original study investigates weight decay and other optimization choices; no single universal cause is established.

What computation did the cited modular-addition mechanistic study identify in its trained small transformers?

Analysis and Fourier ablations support the particular studied algorithm.

Which phase ordering does Progress Measures for Grokking describe in the studied training dynamics?

The generalizing circuit forms before the later cleanup associated with the visible test-accuracy transition.