āļ„āļđāđˆāļĄāļ·āļ­āļžāļ·āđ‰āļ™āļāļēāļ™

āļ›āļĢāļēāļāļāļāļēāļĢāļ“āđŒāļ”āļąāļšāđ€āļšāļīāđ‰āļĨāđ€āļ”āļŠāļ—āđŒ

Double descent is an observed pattern in which test error can rise near the point where a model first interpolates the training data, then fall again as capacity increases.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļ›āļĢāļēāļāļāļāļēāļĢāļ“āđŒ Double Descent
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It shows that added model complexity does not always worsen test performance, though the curve depends on the model, data, and training setup.

āđ€āļˆāļēāļ°āļĨāļķāļ

Classical statistics teaches a U-shaped curve: as model complexity rises, test error falls, bottoms out, then rises as the model overfits. Double descent, popularized by Belkin, Hsu, Ma, and Mandal in 2019 and studied at scale by OpenAI, shows the curve has a second descent. Test error peaks near the interpolation threshold — the point where the model has just enough parameters to fit every training point exactly (zero training error). Push past that into the overparameterized regime and test error can fall again, sometimes below the classical sweet spot. OpenAI reported the phenomenon in convolutional neural networks, ResNets, and transformers; the shape and location varied by experiment. Related double-descent behavior can also appear as training duration or dataset size changes, so it is not a guarantee that every larger model will improve.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Studying how test error changes as model capacity passes the point of fitting the training set

Measuring whether training duration produces a second rise and fall in test error for a particular setup

Comparing models and datasets where increasing training-set size has different effects near interpolation

Using validation curves to understand a model’s behavior rather than assuming that a larger model always generalizes worse

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļ›āļĢāļēāļāļāļāļēāļĢāļ“āđŒ Double Descent

Research continues to connect double descent with model class, effective complexity, implicit regularization, and optimization. The phenomenon can guide experiments on model size and training duration, but it does not prescribe that practitioners should always train larger models or longer. Validation under the target data and deployment conditions remains necessary.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ„āļļāļ“āđāļĒāļāļ„āļģāļāļĨāđˆāļēāļ§āļ­āđ‰āļēāļ‡āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„āļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļ­āļ­āļāļˆāļēāļāļ āļēāļĐāļēāļ—āļēāļ‡āļāļēāļĢāļ•āļĨāļēāļ”āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļ„āļļāļ“āļŠāļēāļĄāļēāļĢāļ–āļ–āļēāļĄāļ„āļģāļ–āļēāļĄāļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļ—āļĩāđˆāļ”āļĩāļ‚āļķāđ‰āļ™āļāđˆāļ­āļ™āļ—āļĩāđˆāļˆāļ°āđƒāļŠāđ‰āđ€āļ‡āļīāļ™āļŦāļĢāļ·āļ­āđ€āļ§āļĨāļē
  • āļ—āļĩāļĄāļ‡āļēāļ™āđāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™. āļ—āļĩāļĄāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđ€āļ‚āđ‰āļēāđƒāļˆāļĢāđˆāļ§āļĄāļāļąāļ™āļˆāļ°āļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļœāļĨāļīāļ•āļ āļąāļ“āļ‘āđŒ āļ™āđ‚āļĒāļšāļēāļĒ āđāļĨāļ°āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ„āļ”āđ‰āļ”āļĩāļ‚āļķāđ‰āļ™

āļĢāļ°āļ§āļąāļ‡

  • āđāļ•āđˆāļĨāļ°āļ—āļĩāļĄāļ­āļēāļˆāđƒāļŠāđ‰āļ„āļģāđ€āļ”āļĩāļĒāļ§āļāļąāļ™āļ•āđˆāļēāļ‡āļāļąāļ™ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ„āļ§āļĢāļāļģāļŦāļ™āļ”āļ‚āļ­āļšāđ€āļ‚āļ•āļ•āļąāđ‰āļ‡āđāļ•āđˆāđ€āļ™āļīāđˆāļ™āđ†
  • āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ­āļēāļˆāļ”āļđāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡āđ„āļĄāđˆāđ€āļ—āđˆāļēāļāļąāļ™
  • āļāļēāļĢāđ€āļžāļīāļāđ€āļ‰āļĒāļ•āđˆāļ­āļ„āļļāļ“āļ āļēāļžāļ‚āđ‰āļ­āļĄāļđāļĨāđāļĨāļ°āđāļœāļ™āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļĄāļąāļāļŠāļĢāđ‰āļēāļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ€āļ›āļĢāļēāļ°āļšāļēāļ‡

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļ”āđ‰āļ§āļĒāļ„āļģāļˆāļģāļāļąāļ”āļ„āļ§āļēāļĄāļ āļēāļĐāļēāļ˜āļĢāļĢāļĄāļ”āļēāļ‚āļ­āļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāļ„āļļāļ“āļ•āđ‰āļ­āļ‡āļāļēāļĢ
  2. āđ€āļĨāļ·āļ­āļāđ€āļĄāļ•āļĢāļīāļāļ§āļąāļ”āļ„āļ§āļēāļĄāļŠāļģāđ€āļĢāđ‡āļˆāļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāđāļĨāļ°āđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļ„āļ§āļēāļĄāļĨāđ‰āļĄāđ€āļŦāļĨāļ§āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļāđˆāļ­āļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļš
  3. āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ™āļģāļĢāđˆāļ­āļ‡āļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļāļ”āđ‰āļ§āļĒāļ‚āđ‰āļ­āļĄāļđāļĨāļ•āļąāļ§āđāļ—āļ™ āđ„āļĄāđˆāđƒāļŠāđˆāļŠāļļāļ”āļŠāļēāļ˜āļīāļ•āļ—āļĩāđˆāļŠāļ§āļĒāļ‡āļēāļĄ
  4. āđ€āļ­āļāļŠāļēāļĢāļ—āļĩāđˆāļ›āļĢāļēāļāļāļāļēāļĢāļ“āđŒ Double Descent āļŠāđˆāļ§āļĒāđ„āļ”āđ‰ āđāļĨāļ°āļ§āļīāļ˜āļĩāļ—āļĩāđˆāļ‡āđˆāļēāļĒāļāļ§āđˆāļēāļˆāļ°āļ”āļĩāļāļ§āđˆāļē

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Double Descent Phenomenon quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Double Descent Phenomenon?

Double descent is an observed pattern in which test error can rise near the point where a model first interpolates the training data, then fall again as capacity increases. It shows that added model complexity does not always worsen test performance, though the curve depends on the model, data, and training setup.

āđ‚āļ”āļĒāļ—āļąāđˆāļ§āđ„āļ›āđāļĨāđ‰āļ§āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļšāļˆāļ°āļ–āļķāļ‡āļˆāļļāļ”āļŠāļđāļ‡āļŠāļļāļ”āļ—āļĩāđˆāđƒāļ”āđƒāļ™āđ€āļŠāđ‰āļ™āđ‚āļ„āđ‰āļ‡ Double Descent

In reported double-descent experiments, test error peaks near the interpolation threshold, where training error first reaches zero; the location and shape depend on the setup.

āļˆāļ°āđ€āļāļīāļ”āļ­āļ°āđ„āļĢāļ‚āļķāđ‰āļ™āļāļąāļšāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļšāđ€āļĄāļ·āđˆāļ­āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĄāļĩāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļĄāļēāļāđ€āļāļīāļ™āđ„āļ›āļ­āļĒāđˆāļēāļ‡āļĄāļēāļ

āđƒāļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļšāļĢāļ°āļšāļ­āļšāļāļēāļĢāļ›āļāļ„āļĢāļ­āļ‡āļ—āļĩāđˆāđ€āļāļīāļ™āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒ āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āļˆāļēāļāļĄāļēāļāđ„āļ›āļ™āđ‰āļ­āļĒāđ€āļ›āđ‡āļ™āļ„āļĢāļąāđ‰āļ‡āļ—āļĩāđˆāļŠāļ­āļ‡ āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļ„āļļāļ“āļĨāļąāļāļĐāļ“āļ°āļ—āļĩāđˆāļāļģāļŦāļ™āļ”āļ—āļĩāđˆāđƒāļŦāđ‰āļŠāļ·āđˆāļ­āļĨāļ‡āļĄāļēāļŠāļ­āļ‡āļ„āļĢāļąāđ‰āļ‡

In which setting does the cited implicit-bias analysis characterize a minimum-norm solution?

A specific analysis of single-hidden-layer linear networks proves a minimum-norm result under its gradient-flow and initialization assumptions; this is not a general result for all neural networks.

āļāļēāļĢāļŠāļ·āļšāđ€āļŠāļ·āđ‰āļ­āļŠāļēāļĒāļŠāļ­āļ‡āļ„āļĢāļąāđ‰āļ‡āđāļšāļš 'āļĒāļļāļ„āļ‰āļĨāļēāļ”' āļŦāļĄāļēāļĒāļ–āļķāļ‡āļœāļĨāļāļĢāļ°āļ—āļšāļ—āļĩāđˆāļ›āļĢāļēāļāļāđ€āļ›āđ‡āļ™āļŸāļąāļ‡āļāđŒāļŠāļąāļ™āļ‚āļ­āļ‡āļ­āļ°āđ„āļĢ?

āļāļēāļĢāļĨāļ‡āđāļšāļšāļŠāļ­āļ‡āļ„āļĢāļąāđ‰āļ‡āļŠāļēāļĄāļēāļĢāļ–āđ€āļāļīāļ”āļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āļ•āļēāļĄāđāļ™āļ§āđāļāļ™āđ€āļ§āļĨāļēāļāļēāļĢāļāļķāļ: āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļšāļ­āļēāļˆāđāļĒāđˆāļĨāļ‡āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļķāļ‡āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āđ€āļĄāļ·āđˆāļ­āļāļēāļĢāļāļķāļāļ”āļģāđ€āļ™āļīāļ™āļ•āđˆāļ­āđ„āļ›āđƒāļ™āļĒāļļāļ„āļ—āļĩāđˆāļĄāļēāļāļ‚āļķāđ‰āļ™

āđāļ™āļ§āļ„āļīāļ”āļ„āļĨāļēāļŠāļŠāļīāļāđƒāļ”āļ—āļĩāđˆāļ—āđ‰āļēāļ—āļēāļĒāļāļēāļĢāļŠāļ·āļšāđ€āļŠāļ·āđ‰āļ­āļŠāļēāļĒāļŠāļ­āļ‡āđ€āļ—āđˆāļē

āļĄāļąāļ™āļ‚āļąāļ”āđāļĒāđ‰āļ‡āļāļąāļšāđ€āļŠāđ‰āļ™āđ‚āļ„āđ‰āļ‡āļĢāļđāļ›āļ•āļąāļ§āļĒāļđāđƒāļ™āļ•āļģāļĢāļēāđ€āļĢāļĩāļĒāļ™āļ—āļĩāđˆāļšāļ­āļāļ§āđˆāļēāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļ—āļĩāđˆāļĄāļēāļāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āļœāđˆāļēāļ™āļˆāļļāļ”āļŦāļ™āļķāđˆāļ‡āļĄāļąāļāļˆāļ°āđ€āļžāļīāđˆāļĄāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļšāļœāđˆāļēāļ™āļāļēāļĢāļ•āļīāļ”āļ•āļąāđ‰āļ‡āļĄāļēāļāđ€āļāļīāļ™āđ„āļ›

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāđ‚āļ„āļ•āļĢ

āļ„āļ§āļēāļĄāļĢāļđāđ‰āļžāļ·āđ‰āļ™āļāļēāļ™

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →