āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

āļāļēāļĢāļĨāļ”āļāļēāļĢāļĢāļąāļšāļĢāļđāđ‰āļ„āļ§āļēāļĄāļ„āļĄāļŠāļąāļ”

Sharpness-Aware Minimization (SAM) āđ€āļ›āđ‡āļ™āļ§āļīāļ˜āļĩāļāļēāļĢāļ›āļĢāļąāļšāđƒāļŦāđ‰āđ€āļŦāļĄāļēāļ°āļŠāļĄāļ—āļĩāđˆāđ„āļĄāđˆāđ€āļžāļĩāļĒāļ‡āđāļ•āđˆāđāļŠāļ§āļ‡āļŦāļēāļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļ—āļĩāđˆāļ•āđˆāļģ āđāļ•āđˆāļĒāļąāļ‡āļŠāļđāļāđ€āļŠāļĩāļĒāļ—āļĩāđˆāļ•āđˆāļģāļ—āļąāđˆāļ§āļ—āļąāđ‰āļ‡āļāļĨāļļāđˆāļĄāļ™āđ‰āļģāļŦāļ™āļąāļāļ—āļąāđ‰āļ‡āļŦāļĄāļ” āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļ„āđˆāļēāļ•āđˆāļģāļŠāļļāļ”āļ„āļ‡āļ—āļĩāđˆ

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļĨāļ”āļ„āļ§āļēāļĄāļ•āļĢāļ°āļŦāļ™āļąāļāđ€āļĢāļ·āđˆāļ­āļ‡āļ„āļ§āļēāļĄāļ„āļĄāļŠāļąāļ”
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

Flatter minima tend to generalize better, so SAM often improves test accuracy and robustness without changing the model architecture.

āđ€āļˆāļēāļ°āļĨāļķāļ

āļāļēāļĢāļāļķāļāđāļšāļšāļĄāļēāļ•āļĢāļāļēāļ™āļˆāļ°āļĨāļ”āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāđƒāļŦāđ‰āđ€āļŦāļĨāļ·āļ­āļ™āđ‰āļ­āļĒāļ—āļĩāđˆāļŠāļļāļ”āļ—āļĩāđˆāļˆāļļāļ”āđ€āļ”āļĩāļĒāļ§āđƒāļ™āļžāļ·āđ‰āļ™āļ—āļĩāđˆāļ™āđ‰āļģāļŦāļ™āļąāļ āđāļ•āđˆāļ§āļīāļ˜āļĩāđāļāđ‰āļ›āļąāļāļŦāļēāļŠāļ­āļ‡āļ§āļīāļ˜āļĩāļ—āļĩāđˆāļĄāļĩāļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļāļēāļĢāļāļķāļāđ€āļ—āđˆāļēāļāļąāļ™āļ­āļēāļˆāļĄāļĩāļžāļĪāļ•āļīāļāļĢāļĢāļĄāđāļ•āļāļ•āđˆāļēāļ‡āļ­āļ­āļāđ„āļ›āļĄāļēāļ: āļ„āđˆāļēāļ‚āļąāđ‰āļ™āļ•āđˆāļģāļ—āļĩāđˆ 'āļ„āļĄāļŠāļąāļ”' āļ•āļąāđ‰āļ‡āļ­āļĒāļđāđˆāđƒāļ™āļŦāļļāļšāđ€āļ‚āļēāđāļ„āļš āđ† āļ‹āļķāđˆāļ‡āļāļēāļĢāļāđˆāļ­āļāļ§āļ™āļ‚āļ­āļ‡āļ™āđ‰āļģāļŦāļ™āļąāļāđ€āļžāļĩāļĒāļ‡āđ€āļĨāđ‡āļāļ™āđ‰āļ­āļĒāļˆāļ°āļ—āļģāđƒāļŦāđ‰āļŠāļđāļāđ€āļŠāļĩāļĒ āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļ„āđˆāļēāļ‚āļąāđ‰āļ™āļ•āđˆāļģāļ—āļĩāđˆ 'āļ„āļ‡āļ—āļĩāđˆ' āļˆāļ°āļ—āļ™āļ•āđˆāļ­āļāļēāļĢāļāđˆāļ­āļāļ§āļ™ āđāļĨāļ°āļĄāļąāļāļˆāļ°āļŠāļĢāļļāļ›āļ‚āđ‰āļ­āļĄāļđāļĨāđ„āļ”āđ‰āļ”āļĩāļāļ§āđˆāļēāļāļąāļšāļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāļĄāļ­āļ‡āđ„āļĄāđˆāđ€āļŦāđ‡āļ™ SAM āļ‹āļķāđˆāļ‡āđāļ™āļ°āļ™āļģāđ‚āļ”āļĒāļ™āļąāļāļ§āļīāļˆāļąāļĒ Google āđƒāļ™āļ›āļĩ 2020 āļ—āļģāđƒāļŦāđ‰āļŠāļīāđˆāļ‡āļ™āļĩāđ‰āļŠāļąāļ”āđ€āļˆāļ™ āđƒāļ™āđāļ•āđˆāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™ āļ‚āļąāđ‰āļ™āđāļĢāļāļˆāļ°āļ„āđ‰āļ™āļŦāļēāļāļēāļĢāļāđˆāļ­āļāļ§āļ™āļ‚āļ­āļ‡āļ™āđ‰āļģāļŦāļ™āļąāļāđƒāļāļĨāđ‰āđ€āļ„āļĩāļĒāļ‡ (āļ āļēāļĒāđƒāļ™āļĢāļąāļĻāļĄāļĩ rho āđ€āļĨāđ‡āļāđ†) āļ‹āļķāđˆāļ‡āļˆāļ°āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļŠāļđāļ‡āļŠāļļāļ” āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āđ€āļžāļ·āđˆāļ­āļ™āļšāđ‰āļēāļ™āļ—āļĩāđˆāđāļĒāđˆāļ—āļĩāđˆāļŠāļļāļ” āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļķāļ‡āļ­āļąāļ›āđ€āļ”āļ•āļ™āđ‰āļģāļŦāļ™āļąāļāđ€āļ”āļīāļĄāđ€āļžāļ·āđˆāļ­āļĨāļ”āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļ—āļĩāđˆāļˆāļļāļ”āļ—āļĩāđˆāļĢāļšāļāļ§āļ™āļ™āļąāđ‰āļ™ āļ§āļąāļ•āļ–āļļāļ›āļĢāļ°āļŠāļ‡āļ„āđŒāļ‚āļąāđ‰āļ™āļ•āđˆāļģ-āļŠāļđāļ‡āļŠāļļāļ”āļ™āļĩāđ‰āļœāļĨāļąāļāļ”āļąāļ™āļāļēāļĢāļ›āļĢāļąāļšāđƒāļŦāđ‰āđ€āļŦāļĄāļēāļ°āļŠāļĄāđ„āļ›āļĒāļąāļ‡āļ āļđāļĄāļīāļ āļēāļ„āļ—āļĩāđˆāļĄāļĩāļĢāļ°āļ”āļąāļšāļ•āđˆāļģāļŠāļĄāđˆāļģāđ€āļŠāļĄāļ­ āļ—āļģāđƒāļŦāđ‰āļĄāļĩāļ āļēāļžāļĢāļ§āļĄāļ—āļĩāđˆāļ”āļĩāļ‚āļķāđ‰āļ™āļ­āļĒāđˆāļēāļ‡āđ€āļŦāđ‡āļ™āđ„āļ”āđ‰āļŠāļąāļ”āđƒāļ™āļāļēāļĢāļˆāļģāđāļ™āļāļ›āļĢāļ°āđ€āļ āļ—āļ āļēāļžāđāļĨāļ°āļ­āļ·āđˆāļ™āđ†

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āđ€āļžāļīāđˆāļĄāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļ‚āļ­āļ‡ Vision Transformer āđāļĨāļ° ResNet āļšāļ™ ImageNet āđ‚āļ”āļĒāļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāļāļąāļš SAM āđāļ—āļ™ SGD āļ˜āļĢāļĢāļĄāļ”āļē

āļāļēāļĢāļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļ„āļ§āļēāļĄāļ—āļ™āļ—āļēāļ™āļ•āđˆāļ­āļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™āļ‚āļ­āļ‡āļ‰āļĨāļēāļ āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļ„āđˆāļēāļ•āđˆāļģāļŠāļļāļ”āđāļšāļšāđāļšāļ™āļĄāļĩāđ‚āļ­āļāļēāļŠāļ™āđ‰āļ­āļĒāļ—āļĩāđˆāļˆāļ°āļˆāļ”āļˆāļģāļ‰āļĨāļēāļāļ—āļĩāđˆāđ€āļŠāļĩāļĒāļŦāļēāļĒ

āļ›āļĢāļąāļšāđāļ•āđˆāļ‡āđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļēāļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāļĨāđˆāļ§āļ‡āļŦāļ™āđ‰āļēāļ­āļĒāđˆāļēāļ‡āļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ”āđ‰āļ§āļĒ SAM āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļĄāļĩāļĨāļąāļāļĐāļ“āļ°āļ—āļąāđˆāļ§āđ„āļ›āļ—āļĩāđˆāļ”āļĩāļ‚āļķāđ‰āļ™āļāļąāļšāļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨāļ”āļēāļ§āļ™āđŒāļŠāļ•āļĢāļĩāļĄāļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļ

āļāļēāļĢāđƒāļŠāđ‰āļ•āļąāļ§āđāļ›āļĢ ESAM āļŦāļĢāļ·āļ­ LookSAM āđ€āļĄāļ·āđˆāļ­āļ§āļēāļ™āļīāļĨāļĨāļē SAM āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļ—āļĩāđˆāđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āļŠāļ­āļ‡āđ€āļ—āđˆāļēāļ™āļąāđ‰āļ™āđāļžāļ‡āđ€āļāļīāļ™āđ„āļ›

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļĨāļ”āļ„āļ§āļēāļĄāļ•āļĢāļ°āļŦāļ™āļąāļāđ€āļĢāļ·āđˆāļ­āļ‡āļ„āļ§āļēāļĄāļ„āļĄāļŠāļąāļ”

SAM āđ„āļ”āđ‰āļŠāļĢāđ‰āļēāļ‡āļāļĨāļļāđˆāļĄāļāļēāļĢāļ•āļīāļ”āļ•āļēāļĄāļœāļĨāđ‚āļ”āļĒāļĄāļļāđˆāļ‡āđ€āļ›āđ‰āļēāđ„āļ›āļ—āļĩāđˆāļˆāļļāļ”āļ­āđˆāļ­āļ™āļ—āļĩāđˆāđƒāļŦāļāđˆāļ—āļĩāđˆāļŠāļļāļ” āļ™āļąāđˆāļ™āļ„āļ·āļ­āļāļēāļĢāļ„āļģāļ™āļ§āļ“āļŠāļ­āļ‡āđ€āļ—āđˆāļē: āļ•āļąāļ§āđāļ›āļĢāļ—āļĩāđˆāļĄāļĩāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļž āđ€āļŠāđˆāļ™ ESAM, LookSAM āđāļĨāļ°āļ§āļīāļ˜āļĩāļāļēāļĢāļ—āļĩāđˆāļĢāļšāļāļ§āļ™āļ™āđ‰āļģāļŦāļ™āļąāļāđ€āļžāļĩāļĒāļ‡āļŠāļļāļ”āļĒāđˆāļ­āļĒāļŦāļĢāļ·āļ­āđƒāļŠāđ‰ SAM āļ—āļļāļāļŠāļ­āļ‡āļŠāļēāļĄāļ‚āļąāđ‰āļ™āļ•āļ­āļ™ Adaptive SAM (ASAM) āļˆāļ°āļāļģāļŦāļ™āļ”āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļĢāļąāļĻāļĄāļĩāđƒāļŦāļĄāđˆāđƒāļŦāđ‰āđ„āļĄāđˆāđāļ›āļĢāļœāļąāļ™āļ•āļēāļĄāļ‚āļ™āļēāļ” āļ™āļąāļāļ§āļīāļˆāļąāļĒāļĒāļąāļ‡āļ„āļ‡āļ–āļāđ€āļ–āļĩāļĒāļ‡āļāļąāļ™āļ­āļĒāđˆāļēāļ‡āđāļ™āđˆāļŠāļąāļ”āļ§āđˆāļēāđ€āļŦāļ•āļļāđƒāļ”āļ„āļ§āļēāļĄāđ€āļĢāļĩāļĒāļšāļˆāļķāļ‡āļŠāđˆāļ§āļĒāđ„āļ”āđ‰ āđāļĨāļ°āļˆāļ°āļ§āļąāļ”āđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āđ„āļĢ āđāļĨāļ°āđāļ™āļ§āļ„āļīāļ”āļ—āļĩāđˆāļ„āļģāļ™āļķāļ‡āļ–āļķāļ‡āļ„āļ§āļēāļĄāļ„āļĄāļŠāļąāļ”āļāļģāļĨāļąāļ‡āđāļžāļĢāđˆāļāļĢāļ°āļˆāļēāļĒāđ„āļ›āļŠāļđāđˆāļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡āđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļēāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāļ­āļĒāđˆāļēāļ‡āļĨāļ°āđ€āļ­āļĩāļĒāļ” āđāļĨāļ°āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļ„āļ§āļēāļĄāļ—āļ™āļ—āļēāļ™āļ•āđˆāļ­āļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļāļēāļĢāļāļĢāļ°āļˆāļēāļĒ

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Sharpness-Aware Minimization quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Sharpness-Aware Minimization?

Sharpness-Aware Minimization (SAM) āđ€āļ›āđ‡āļ™āļ§āļīāļ˜āļĩāļāļēāļĢāļ›āļĢāļąāļšāđƒāļŦāđ‰āđ€āļŦāļĄāļēāļ°āļŠāļĄāļ—āļĩāđˆāđ„āļĄāđˆāđ€āļžāļĩāļĒāļ‡āđāļ•āđˆāđāļŠāļ§āļ‡āļŦāļēāļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļ—āļĩāđˆāļ•āđˆāļģ āđāļ•āđˆāļĒāļąāļ‡āļŠāļđāļāđ€āļŠāļĩāļĒāļ—āļĩāđˆāļ•āđˆāļģāļ—āļąāđˆāļ§āļ—āļąāđ‰āļ‡āļāļĨāļļāđˆāļĄāļ™āđ‰āļģāļŦāļ™āļąāļāļ—āļąāđ‰āļ‡āļŦāļĄāļ” āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļ„āđˆāļēāļ•āđˆāļģāļŠāļļāļ”āļ„āļ‡āļ—āļĩāđˆ Flatter Minima āļĄāļĩāđāļ™āļ§āđ‚āļ™āđ‰āļĄāļ—āļĩāđˆāļˆāļ°āļŠāļĢāļļāļ›āđ„āļ”āđ‰āļ”āļĩāļāļ§āđˆāļē āļ”āļąāļ‡āļ™āļąāđ‰āļ™ SAM āļˆāļķāļ‡āļĄāļąāļāļˆāļ°āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāđāļĨāļ°āļ„āļ§āļēāļĄāļ—āļ™āļ—āļēāļ™āđƒāļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļšāđ‚āļ”āļĒāđ„āļĄāđˆāļ•āđ‰āļ­āļ‡āđ€āļ›āļĨāļĩāđˆāļĒāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāđāļšāļšāļˆāļģāļĨāļ­āļ‡

SAM āļžāļĒāļēāļĒāļēāļĄāļ„āđ‰āļ™āļŦāļēāļ‚āļąāđ‰āļ™āļ•āđˆāļģāļ›āļĢāļ°āđ€āļ āļ—āđƒāļ”

SAM āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāļ‚āļąāđ‰āļ™āļ•āđˆāļģāđāļšāļšāļ„āļ‡āļ—āļĩāđˆāđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļ—āļĩāđˆāļĒāļąāļ‡āļ„āļ‡āļ•āđˆāļģāļ āļēāļĒāđƒāļ•āđ‰āļāļēāļĢāļāđˆāļ­āļāļ§āļ™āđ€āļĨāđ‡āļāļ™āđ‰āļ­āļĒāļĄāļĩāđāļ™āļ§āđ‚āļ™āđ‰āļĄāļ—āļĩāđˆāļˆāļ°āļŠāļĢāļļāļ›āļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļąāđˆāļ§āđ„āļ›āđ„āļ”āđ‰āļ”āļĩāļāļ§āđˆāļēāļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāļĄāļ­āļ‡āđ„āļĄāđˆāđ€āļŦāđ‡āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™ SAM āļĄāļēāļ•āļĢāļāļēāļ™āļ•āđ‰āļ­āļ‡āđƒāļŠāđ‰āļāļēāļĢāļŠāđˆāļ‡āļ•āđˆāļ­āđ„āļ›āļ‚āđ‰āļēāļ‡āļŦāļ™āđ‰āļēāđāļĨāļ°āļ–āļ­āļĒāļŦāļĨāļąāļ‡āļāļĩāđˆāļ„āļĢāļąāđ‰āļ‡

SAM āļ„āļģāļ™āļ§āļ“āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāđ€āļžāļ·āđˆāļ­āļ„āđ‰āļ™āļŦāļēāļˆāļļāļ”āđƒāļāļĨāđ‰āđ€āļ„āļĩāļĒāļ‡āļ—āļĩāđˆāļĄāļĩāļāļĢāļ“āļĩāļ—āļĩāđˆāđāļĒāđˆāļ—āļĩāđˆāļŠāļļāļ” āļˆāļēāļāļ™āļąāđ‰āļ™āđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļ­āļĩāļāļˆāļļāļ”āļ—āļĩāđˆāļ™āļąāđˆāļ™āđ€āļžāļ·āđˆāļ­āļ­āļąāļ›āđ€āļ”āļ• â€” āļ›āļĢāļ°āļĄāļēāļ“āļŠāļ­āļ‡āđ€āļ—āđˆāļēāļ‚āļ­āļ‡āļ•āđ‰āļ™āļ—āļļāļ™āļ›āļāļ•āļī

āđ„āļŪāđ€āļ›āļ­āļĢāđŒāļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļĢāļąāļĻāļĄāļĩ rho āļ„āļ§āļšāļ„āļļāļĄāļ­āļ°āđ„āļĢāđƒāļ™ SAM

Rho āļāļģāļŦāļ™āļ”āļ§āđˆāļēāļ‚āļąāđ‰āļ™āļ•āļ­āļ™ 'āļāļēāļĢāļ‚āļķāđ‰āļ™' āđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ—āļĩāđˆāđ„āļ›āđ„āļāļĨāđāļ„āđˆāđ„āļŦāļ™āđ€āļžāļ·āđˆāļ­āļ„āđ‰āļ™āļŦāļēāđ€āļžāļ·āđˆāļ­āļ™āļšāđ‰āļēāļ™āļ—āļĩāđˆāđ€āļĨāļ§āļĢāđ‰āļēāļĒāļ—āļĩāđˆāļŠāļļāļ” āđ‚āļ”āļĒāļāļģāļŦāļ™āļ”āļ§āđˆāļē SAM āđƒāļ™āļžāļ·āđ‰āļ™āļ—āļĩāđˆāļĢāļēāļšāļˆāļ°āļ„āđ‰āļ™āļŦāļēāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāđ€āļžāļĩāļĒāļ‡āđƒāļ”

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āđāļĢāļāļ‚āļ­āļ‡āļŠāļ­āļ‡āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ‚āļ­āļ‡ SAM āđƒāļ™āļāļēāļĢāļ§āļ™āļ‹āđ‰āļģāđāļ•āđˆāļĨāļ°āļ„āļĢāļąāđ‰āļ‡āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

āļ‚āļąāđ‰āļ™āđāļĢāļ SAM āļˆāļ°āļĢāļšāļāļ§āļ™āļ™āđ‰āļģāļŦāļ™āļąāļāļ āļēāļĒāđƒāļ™āļĢāļąāļĻāļĄāļĩ rho āđƒāļ™āļ—āļīāļĻāļ—āļēāļ‡āļ—āļĩāđˆāļ—āļģāđƒāļŦāđ‰āđ€āļāļīāļ”āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļŠāļđāļ‡āļŠāļļāļ” āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļķāļ‡āđ€āļ„āļĨāļ·āđˆāļ­āļ™āļĨāļ‡āļĄāļēāļˆāļēāļāļˆāļļāļ”āđ€āļ”āļīāļĄāđ‚āļ”āļĒāđƒāļŠāđ‰āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļ—āļĩāđˆāļ„āļģāļ™āļ§āļ“ āļ“ āļˆāļļāļ”āļ™āļąāđ‰āļ™

āđ€āļŦāļ•āļļāđƒāļ” SAM āļˆāļķāļ‡āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļ„āļ§āļēāļĄāļ—āļ™āļ—āļēāļ™āļ•āđˆāļ­āļŠāļąāļāļāļēāļ“āļĢāļšāļāļ§āļ™āļ‚āļ­āļ‡āļ‰āļĨāļēāļāļšāđˆāļ­āļĒāļ„āļĢāļąāđ‰āļ‡

āļāļēāļĢāļˆāļ”āļˆāļģāļ‰āļĨāļēāļāļ—āļĩāđˆāļĄāļĩāđ€āļŠāļĩāļĒāļ‡āļ”āļąāļ‡āļĄāļąāļāļ•āđ‰āļ­āļ‡āđƒāļŠāđ‰āļ„āđˆāļēāļ‚āļąāđ‰āļ™āļ•āđˆāļģāļ—āļĩāđˆāļ„āļĄāļŠāļąāļ”āđāļĨāļ°āđāļ„āļš āđ‚āļ”āļĒāļāļēāļĢāđ€āļĨāļ·āļ­āļāļžāļ·āđ‰āļ™āļ—āļĩāđˆāļĢāļēāļš SAM āļˆāļ°āļ•āđˆāļ­āļ•āđ‰āļēāļ™āļāļēāļĢāļ›āļĢāļąāļšāļĄāļēāļāđ€āļāļīāļ™āđ„āļ›

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāļĨāļ”āļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āđ€āļŠāļīāļ‡āļ›āļĢāļ°āļˆāļąāļāļĐāđŒ

āļ„āļ§āļēāļĄāļĢāļđāđ‰āļžāļ·āđ‰āļ™āļāļēāļ™

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →