āļ„āļđāđˆāļĄāļ·āļ­āļžāļ·āđ‰āļ™āļāļēāļ™

āļāļēāļĢāđāļĨāļāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļ­āļ„āļ•āļī-āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™

āļ‚āđ‰āļ­āļ”āļĩāļ‚āđ‰āļ­āđ€āļŠāļĩāļĒāļ‚āļ­āļ‡āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āđāļĨāļ°āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļ­āļ˜āļīāļšāļēāļĒāļ§āđˆāļēāļ—āļģāđ„āļĄāđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ–āļķāļ‡āļĨāđ‰āļĄāđ€āļŦāļĨāļ§āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļ‡āđˆāļēāļĒāđ€āļāļīāļ™āđ„āļ›āļŦāļĢāļ·āļ­āļ‹āļąāļšāļ‹āđ‰āļ­āļ™āđ€āļāļīāļ™āđ„āļ›

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāđāļĨāļāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļ­āļ„āļ•āļīāđāļĨāļ°āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It's the central tension behind underfitting versus overfitting, and getting it right determines whether your model generalizes to new data.

āđ€āļˆāļēāļ°āļĨāļķāļ

āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ™āļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļ—āļļāļāļ­āļĒāđˆāļēāļ‡āļ—āļĩāđˆāđāļšāļšāļˆāļģāļĨāļ­āļ‡āļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āļŠāļēāļĄāļēāļĢāļ–āđāļšāđˆāļ‡āļ­āļ­āļāđ€āļ›āđ‡āļ™āļŠāļēāļĄāļŠāđˆāļ§āļ™: āļ­āļ„āļ•āļī āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™ āđāļĨāļ°āļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™āļ—āļĩāđˆāļĨāļ”āđ„āļĄāđˆāđ„āļ”āđ‰ āļ­āļ„āļ•āļīāļ„āļ·āļ­āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āļˆāļēāļāļāļēāļĢāļŠāļąāļ™āļ™āļīāļĐāļāļēāļ™āļ—āļĩāđˆāļœāļīāļ” āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ—āļĩāđˆāļ‡āđˆāļēāļĒāđ€āļāļīāļ™āļāļ§āđˆāļēāļ—āļĩāđˆāļˆāļ°āļˆāļąāļšāļĢāļđāļ›āđāļšāļšāļ—āļĩāđˆāđāļ—āđ‰āļˆāļĢāļīāļ‡āđ„āļ”āđ‰ āđ€āļŠāđˆāļ™ āļāļēāļĢāļ›āļĢāļąāļšāđ€āļŠāđ‰āļ™āļ•āļĢāļ‡āđƒāļŦāđ‰āđ€āļ‚āđ‰āļēāļāļąāļšāđ€āļŠāđ‰āļ™āđ‚āļ„āđ‰āļ‡ (underfitting) āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļ„āļ·āļ­āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āļˆāļēāļāļ„āļ§āļēāļĄāđ„āļ§āļ•āđˆāļ­āļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļāļēāļĢāļāļķāļāļ—āļĩāđˆāđ€āļ‰āļžāļēāļ°āđ€āļˆāļēāļ°āļˆāļ‡ â€” āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ—āļĩāđˆāļĒāļ·āļ”āļŦāļĒāļļāđˆāļ™āļĄāļēāļāļˆāļķāļ‡āļŠāļēāļĄāļēāļĢāļ–āļˆāļ”āļˆāļģāļĨāļąāļāļĐāļ“āļ°āđ€āļ‰āļžāļēāļ°āđāļĨāļ°āđ€āļŠāļĩāļĒāļ‡āļĢāļšāļāļ§āļ™āđ„āļ”āđ‰ (āļāļēāļĢāļŠāļ§āļĄāļĄāļēāļāđ€āļāļīāļ™āđ„āļ›) āļŠāļīāđˆāļ‡āļ—āļĩāđˆāļˆāļąāļšāđ„āļ”āđ‰āļāđ‡āļ„āļ·āļ­āļ§āđˆāļēāļ­āļąāļ™āļŦāļ™āļķāđˆāļ‡āļ—āļĩāđˆāļĨāļ”āļĨāļ‡āļĄāļĩāđāļ™āļ§āđ‚āļ™āđ‰āļĄāļ—āļĩāđˆāļˆāļ°āļĒāļāļ­āļĩāļāļ­āļąāļ™ āļžāļŦāļļāļ™āļēāļĄāļĢāļ°āļ”āļąāļšāļŠāļđāļ‡āļŠāđˆāļ§āļĒāļĨāļ”āļ­āļ„āļ•āļī āđāļ•āđˆāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļāļĨāļąāļšāđāļāļ§āđˆāļ‡āđ„āļ›āđāļāļ§āđˆāļ‡āļĄāļēāļ­āļĒāđˆāļēāļ‡āļĄāļēāļāļāļąāļšāļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨāđƒāļŦāļĄāđˆāđāļ•āđˆāļĨāļ°āļŠāļļāļ” āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ„āļĄāđˆāđ„āļ”āđ‰āļ­āļĒāļđāđˆāļ—āļĩāđˆāļāļēāļĢāļāļģāļˆāļąāļ”āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ”āđ† āđāļ•āđˆāđ€āļžāļ·āđˆāļ­āļ„āđ‰āļ™āļŦāļēāļˆāļļāļ”āļ—āļĩāđˆāļ™āđˆāļēāļŠāļ™āđƒāļˆāļ‹āļķāđˆāļ‡āļœāļĨāļĢāļ§āļĄ (āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āļ—āļąāđ‰āļ‡āļŦāļĄāļ”āļ—āļĩāđˆāļ„āļēāļ”āđ„āļ§āđ‰āđƒāļ™āļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāļĄāļ­āļ‡āđ„āļĄāđˆāđ€āļŦāđ‡āļ™) āļ™āļąāđ‰āļ™āļ™āđ‰āļ­āļĒāļ—āļĩāđˆāļŠāļļāļ”

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļāļēāļĢāđ€āļĨāļ·āļ­āļāļ„āļ§āļēāļĄāļĨāļķāļāļ‚āļ­āļ‡āđāļœāļ™āļœāļąāļ‡āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆ: āļ•āđ‰āļ™āđ„āļĄāđ‰āļ•āļ·āđ‰āļ™āļ”āđ‰āļēāļ™āļĨāđˆāļēāļ‡ (āļ­āļ„āļ•āļīāļŠāļđāļ‡) āļ•āđ‰āļ™āđ„āļĄāđ‰āļ—āļĩāđˆāļĨāļķāļāļĄāļēāļāļˆāļ°āļˆāļ”āļˆāļģāđāļ–āļ§āļāļēāļĢāļāļķāļ (āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļŠāļđāļ‡) āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ„āļļāļ“āļˆāļķāļ‡āļ›āļĢāļąāļšāļ„āļ§āļēāļĄāļĨāļķāļāļœāđˆāļēāļ™āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ™āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļš

āļāļēāļĢāļ•āļąāđ‰āļ‡āļ„āđˆāļēāļ„āļ§āļēāļĄāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āļ‚āļ­āļ‡āļāļēāļĢāļ—āļģāđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļĄāļēāļ•āļĢāļāļēāļ™ (āđāļĨāļĄāļšāđŒāļ”āļē) āđƒāļ™āļāļēāļĢāļ–āļ”āļ–āļ­āļĒāđāļšāļšāļŠāļąāļ™āļŦāļĢāļ·āļ­āđāļšāļšāļšāđˆāļ§āļ‡āļšāļēāļĻāđ€āļžāļ·āđˆāļ­āđāļĨāļāļāļąāļšāļ­āļ„āļ•āļīāļ—āļĩāđˆāđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ€āļĨāđ‡āļāļ™āđ‰āļ­āļĒāļŠāļģāļŦāļĢāļąāļšāļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļ—āļĩāđˆāļĨāļ”āļĨāļ‡āļ­āļĒāđˆāļēāļ‡āļĄāļēāļāđāļĨāļ°āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāđƒāļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļšāļ—āļĩāđˆāļ”āļĩāļ‚āļķāđ‰āļ™

āļāļēāļĢāđƒāļŠāđ‰āļ›āđˆāļēāļŠāļļāđˆāļĄ āļ‹āļķāđˆāļ‡āļŦāļēāļ„āđˆāļēāđ€āļ‰āļĨāļĩāđˆāļĒāļ•āđ‰āļ™āđ„āļĄāđ‰āļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļŠāļđāļ‡āļ—āļĩāđˆāļĄāļĩāļāļēāļĢāļĨāļ”āļ„āļ§āļēāļĄāļŠāļąāļĄāļžāļąāļ™āļ˜āđŒāđ€āļžāļ·āđˆāļ­āļĨāļ”āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āđ‚āļ”āļĒāļĢāļ§āļĄāđ‚āļ”āļĒāđ„āļĄāđˆāđ€āļžāļīāđˆāļĄāļ­āļ„āļ•āļīāļĄāļēāļāļ™āļąāļ

āļāļēāļĢāđ€āļĨāļ·āļ­āļāļˆāļģāļ™āļ§āļ™āđ€āļžāļ·āđˆāļ­āļ™āļšāđ‰āļēāļ™ k āđƒāļ™ k-NN: k=1 āļĄāļĩāļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļŠāļđāļ‡āđāļĨāļ°āļ•āļīāļ”āļ•āļēāļĄāļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™ āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆ k āļ—āļĩāđˆāļĄāļĩāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāļĄāļēāļāļˆāļ°āļ›āļĢāļąāļšāđƒāļŦāđ‰āđ€āļĢāļĩāļĒāļšāđ€āļāļīāļ™āđ„āļ›āđāļĨāļ°āđ€āļžāļīāđˆāļĄāļ­āļ„āļ•āļī

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāđāļĨāļāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļ­āļ„āļ•āļīāđāļĨāļ°āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™

āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ€āļŠāļīāļ‡āļĨāļķāļāļ—āļģāđƒāļŦāđ‰āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§āļ„āļĨāļēāļŠāļŠāļīāļāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļ‚āļķāđ‰āļ™ āļ™āļąāļāļ§āļīāļˆāļąāļĒāļŠāļąāļ‡āđ€āļāļ•āđ€āļŦāđ‡āļ™ 'double descent' āļ‹āļķāđˆāļ‡āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļšāđ€āļāļīāļ”āļ‚āļķāđ‰āļ™āļāđˆāļ­āļ™ āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļ°āļĨāļ”āļĨāļ‡āļ­āļĩāļāļ„āļĢāļąāđ‰āļ‡āđ€āļĄāļ·āđˆāļ­āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļ—āļĩāđˆāļĄāļĩāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāđ€āļāļīāļ™āļ‚āļ™āļēāļ”āļˆāļģāļ™āļ§āļ™āļĄāļēāļāđ€āļ•āļīāļšāđ‚āļ•āđ€āļāļīāļ™āđ€āļāļ“āļ‘āđŒāļāļēāļĢāđāļāđ‰āđ„āļ‚ āļ‹āļķāđˆāļ‡āļ”āļđāđ€āļŦāļĄāļ·āļ­āļ™āļˆāļ°āļ—āđ‰āļēāļ—āļēāļĒāđ€āļŠāđ‰āļ™āđ‚āļ„āđ‰āļ‡āļĢāļđāļ›āļ•āļąāļ§āļĒāļđ āļāļēāļĢāļ—āļģāļ„āļ§āļēāļĄāđ€āļ‚āđ‰āļēāđƒāļˆāļ§āđˆāļēāđ€āļŦāļ•āļļāđƒāļ”āđ‚āļĄāđ€āļ”āļĨāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāļˆāļķāļ‡āļŠāļĢāļļāļ›āđ„āļ”āđ‰āđāļĄāđ‰āļˆāļ°āļĄāļĩāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āđƒāļ™āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđ€āļāļ·āļ­āļšāđ€āļ›āđ‡āļ™āļĻāļđāļ™āļĒāđŒāļ–āļ·āļ­āđ€āļ›āđ‡āļ™āļ‚āļ­āļšāđ€āļ‚āļ•āļāļēāļĢāļ§āļīāļˆāļąāļĒāļ—āļĩāđˆāļāļĢāļ°āļ•āļ·āļ­āļĢāļ·āļ­āļĢāđ‰āļ™ āļ‹āļķāđˆāļ‡āđ€āļŠāļ·āđˆāļ­āļĄāđ‚āļĒāļ‡āļāļąāļšāļāļēāļĢāļ—āļģāđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļĄāļēāļ•āļĢāļāļēāļ™āđ‚āļ”āļĒāļ™āļąāļĒāļˆāļēāļāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļŠāđˆāļ™ SGD āļœāļđāđ‰āļ›āļāļīāļšāļąāļ•āļīāļ‡āļēāļ™āļžāļķāđˆāļ‡āļžāļēāļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡āđ€āļŠāļīāļ‡āļ›āļĢāļ°āļˆāļąāļāļĐāđŒ āļāļŽāļāļēāļĢāļ›āļĢāļąāļšāļ‚āļ™āļēāļ” āđāļĨāļ°āđ€āļŠāđ‰āļ™āđ‚āļ„āđ‰āļ‡āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāļĄāļēāļāļ‚āļķāđ‰āļ™āđ€āļĢāļ·āđˆāļ­āļĒāđ† āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđ€āļ›āđ‡āļ™āļ‚āđ‰āļ­āļ”āļĩāļ‚āđ‰āļ­āđ€āļŠāļĩāļĒāļ‚āļ­āļ‡āļ•āļģāļĢāļēāđ€āļĢāļĩāļĒāļ™āđ€āļžāļĩāļĒāļ‡āļ­āļĒāđˆāļēāļ‡āđ€āļ”āļĩāļĒāļ§

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ„āļļāļ“āđāļĒāļāļ„āļģāļāļĨāđˆāļēāļ§āļ­āđ‰āļēāļ‡āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„āļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļ­āļ­āļāļˆāļēāļāļ āļēāļĐāļēāļ—āļēāļ‡āļāļēāļĢāļ•āļĨāļēāļ”āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļ„āļļāļ“āļŠāļēāļĄāļēāļĢāļ–āļ–āļēāļĄāļ„āļģāļ–āļēāļĄāļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļ—āļĩāđˆāļ”āļĩāļ‚āļķāđ‰āļ™āļāđˆāļ­āļ™āļ—āļĩāđˆāļˆāļ°āđƒāļŠāđ‰āđ€āļ‡āļīāļ™āļŦāļĢāļ·āļ­āđ€āļ§āļĨāļē
  • āļ—āļĩāļĄāļ‡āļēāļ™āđāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™. āļ—āļĩāļĄāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđ€āļ‚āđ‰āļēāđƒāļˆāļĢāđˆāļ§āļĄāļāļąāļ™āļˆāļ°āļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļœāļĨāļīāļ•āļ āļąāļ“āļ‘āđŒ āļ™āđ‚āļĒāļšāļēāļĒ āđāļĨāļ°āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ„āļ”āđ‰āļ”āļĩāļ‚āļķāđ‰āļ™

āļĢāļ°āļ§āļąāļ‡

  • āđāļ•āđˆāļĨāļ°āļ—āļĩāļĄāļ­āļēāļˆāđƒāļŠāđ‰āļ„āļģāđ€āļ”āļĩāļĒāļ§āļāļąāļ™āļ•āđˆāļēāļ‡āļāļąāļ™ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ„āļ§āļĢāļāļģāļŦāļ™āļ”āļ‚āļ­āļšāđ€āļ‚āļ•āļ•āļąāđ‰āļ‡āđāļ•āđˆāđ€āļ™āļīāđˆāļ™āđ†
  • āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ­āļēāļˆāļ”āļđāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡āđ„āļĄāđˆāđ€āļ—āđˆāļēāļāļąāļ™
  • āļāļēāļĢāđ€āļžāļīāļāđ€āļ‰āļĒāļ•āđˆāļ­āļ„āļļāļ“āļ āļēāļžāļ‚āđ‰āļ­āļĄāļđāļĨāđāļĨāļ°āđāļœāļ™āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļĄāļąāļāļŠāļĢāđ‰āļēāļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ€āļ›āļĢāļēāļ°āļšāļēāļ‡

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļ”āđ‰āļ§āļĒāļ„āļģāļˆāļģāļāļąāļ”āļ„āļ§āļēāļĄāļ āļēāļĐāļēāļ˜āļĢāļĢāļĄāļ”āļēāļ‚āļ­āļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāļ„āļļāļ“āļ•āđ‰āļ­āļ‡āļāļēāļĢ
  2. āđ€āļĨāļ·āļ­āļāđ€āļĄāļ•āļĢāļīāļāļ§āļąāļ”āļ„āļ§āļēāļĄāļŠāļģāđ€āļĢāđ‡āļˆāļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāđāļĨāļ°āđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļ„āļ§āļēāļĄāļĨāđ‰āļĄāđ€āļŦāļĨāļ§āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļāđˆāļ­āļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļš
  3. āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ™āļģāļĢāđˆāļ­āļ‡āļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļāļ”āđ‰āļ§āļĒāļ‚āđ‰āļ­āļĄāļđāļĨāļ•āļąāļ§āđāļ—āļ™ āđ„āļĄāđˆāđƒāļŠāđˆāļŠāļļāļ”āļŠāļēāļ˜āļīāļ•āļ—āļĩāđˆāļŠāļ§āļĒāļ‡āļēāļĄ
  4. āđ€āļ­āļāļŠāļēāļĢāļ—āļĩāđˆāļ‚āđ‰āļ­āļ”āļĩāļ‚āļ­āļ‡āļāļēāļĢāđāļĨāļāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļĢāļ°āļŦāļ§āđˆāļēāļ‡āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āđāļĨāļ°āļ§āļīāļ˜āļĩāļ—āļĩāđˆāļ‡āđˆāļēāļĒāļāļ§āđˆāļēāļˆāļ°āļ”āļĩāļāļ§āđˆāļē

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Bias-Variance Tradeoff quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Bias-Variance Tradeoff?

āļ‚āđ‰āļ­āļ”āļĩāļ‚āđ‰āļ­āđ€āļŠāļĩāļĒāļ‚āļ­āļ‡āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āđāļĨāļ°āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļ­āļ˜āļīāļšāļēāļĒāļ§āđˆāļēāļ—āļģāđ„āļĄāđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ–āļķāļ‡āļĨāđ‰āļĄāđ€āļŦāļĨāļ§āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļ‡āđˆāļēāļĒāđ€āļāļīāļ™āđ„āļ›āļŦāļĢāļ·āļ­āļ‹āļąāļšāļ‹āđ‰āļ­āļ™āđ€āļāļīāļ™āđ„āļ› āļ„āļ§āļēāļĄāļ•āļķāļ‡āđ€āļ„āļĢāļĩāļĒāļ”āļŦāļĨāļąāļāļ—āļĩāđˆāļ­āļĒāļđāđˆāđ€āļšāļ·āđ‰āļ­āļ‡āļŦāļĨāļąāļ‡āļāļēāļĢāļ›āļĢāļąāļšāļ”āđ‰āļēāļ™āļĨāđˆāļēāļ‡āļāļąāļšāļāļēāļĢāļ›āļĢāļąāļšāļĄāļēāļāđ€āļāļīāļ™āđ„āļ› āđāļĨāļ°āļāļēāļĢāļ—āļģāđƒāļŦāđ‰āļĄāļąāļ™āļ–āļđāļāļ•āđ‰āļ­āļ‡āļˆāļ°āđ€āļ›āđ‡āļ™āļ•āļąāļ§āļāļģāļŦāļ™āļ”āļ§āđˆāļēāđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ‚āļ­āļ‡āļ„āļļāļ“āļˆāļ°āļŠāļĢāļļāļ›āļ‚āđ‰āļ­āļĄāļđāļĨāđƒāļŦāļĄāđˆāļŦāļĢāļ·āļ­āđ„āļĄāđˆ

āļŠāļ–āļēāļ™āļāļēāļĢāļ“āđŒāđƒāļ”āļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļŠāļąāļāļāļēāļ“āļ„āļĨāļēāļŠāļŠāļīāļāļ‚āļ­āļ‡āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļŠāļđāļ‡ (āļāļēāļĢāđƒāļŠāđˆāļĄāļēāļāđ€āļāļīāļ™āđ„āļ›)

āļ„āļ§āļēāļĄāđāļ›āļĢāļ›āļĢāļ§āļ™āļŠāļđāļ‡āļˆāļ°āđāļŠāļ”āļ‡āđ€āļ›āđ‡āļ™āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļāļēāļĢāļāļķāļāļ—āļĩāđˆāļĒāļ­āļ”āđ€āļĒāļĩāđˆāļĒāļĄāđāļĨāļ°āļœāļĨāļāļēāļĢāļ—āļ”āļŠāļ­āļšāļ—āļĩāđˆāđ„āļĄāđˆāļ”āļĩ - āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļˆāļ°āļˆāļ”āļˆāļģāļ‚āđ‰āļ­āļĄāļđāļĨāļāļēāļĢāļāļķāļ

In the classic bias-variance picture described in the guide, which tradeoff can accompany increased model flexibility?

In the classic account, greater flexibility can reduce bias while increasing sensitivity to the sample. The guide also describes double descent, so this is not a universal monotonic law.

In a squared-error decomposition, squared bias is 2, variance is 3, and irreducible noise is 1. What is the total expected error?

The supplied bias term is already squared. Add the three components: 2 + 3 + 1 = 6.

Why can averaging many de-correlated trees help in the random-forest example?

The guide describes averaging high-variance, de-correlated trees as a way to reduce ensemble variance.

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →