āļ„āļđāđˆāļĄāļ·āļ­ AI āđāļšāļšāđ€āļŦāđ‡āļ™āļ āļēāļž

āļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āđāļšāļš Panoptic

Panoptic segmentation assigns every image pixel both a semantic category and, for countable objects, an instance identity.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~1 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 1 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āđāļšāļš Panoptic
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It unifies semantic segmentation of amorphous regions with instance segmentation of distinct objects.

āđ€āļˆāļēāļ°āļĨāļķāļ

The panoptic segmentation paper defines a unified task in which every pixel belongs to a segment labeled by a semantic class and, for “thing” classes, an instance identity. “Stuff” classes such as sky or road do not require individual instance IDs. The authors introduce Panoptic Quality (PQ) as a unified metric for thing and stuff classes. Mask2Former is a later masked-attention architecture that the authors report can address panoptic, instance and semantic segmentation; its results are specific to the datasets and metrics in that paper.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Labeling sky, road or grass as stuff regions.

Assigning individual instance IDs to separate people or vehicles.

Evaluating the combined segmentation and recognition quality with Panoptic Quality.

Comparing universal architectures such as Mask2Former across semantic, instance and panoptic tasks.

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āđāļšāļš Panoptic

Compare segmentation architectures on the target dataset and report PQ and relevant submetrics. Universal architecture results in one benchmark do not establish equal quality across other datasets or deployment conditions.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. Visual AI āļŠāļēāļĄāļēāļĢāļ–āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļš āļāļēāļĢāļ•āļĢāļ§āļˆāļˆāļąāļš āđāļĨāļ°āļāļēāļĢāđāļ—āđ‡āļāđ€āļ›āđ‡āļ™āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāđƒāļ™āļ‚āļ™āļēāļ”āļ•āđˆāļēāļ‡āđ†
  • āļŠāļĢāđ‰āļēāļ‡āļ—āļēāļ‡āđ€āļĨāļ·āļ­āļ. āļ—āļĩāļĄāļŠāļĢāđ‰āļēāļ‡āļŠāļĢāļĢāļ„āđŒāļŠāļēāļĄāļēāļĢāļ–āļŠāļĢāđ‰āļēāļ‡āļ•āđ‰āļ™āđāļšāļšāđāļ™āļ§āļ„āļīāļ”āđ„āļ”āđ‰āļĢāļ§āļ”āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™āđ‚āļ”āļĒāļ•āđ‰āļ­āļ‡āļĄāļĩāļāļēāļĢāđāļāđ‰āđ„āļ‚āļ”āđ‰āļ§āļĒāļ•āļ™āđ€āļ­āļ‡āļ™āđ‰āļ­āļĒāļĨāļ‡
  • āļ—āļĩāļĄāļ‡āļēāļ™āđāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™. āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āđƒāļŠāđ‰āļŠāļąāļāļāļēāļ“āļ āļēāļžāđāļĨāļ°āļ§āļīāļ”āļĩāđ‚āļ­āļ—āļĩāđˆāļāđˆāļ­āļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāđ„āļ”āđ‰āļĒāļēāļ

āļĢāļ°āļ§āļąāļ‡

  • āļŠāļīāļ—āļ˜āļīāđŒāđāļĨāļ°āļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄāđƒāļ™āļĢāļđāļ›āļ āļēāļžāļ­āļēāļˆāļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āļ—āļēāļ‡āļāļŽāļŦāļĄāļēāļĒāđ„āļ”āđ‰āļŦāļēāļāđāļŦāļĨāđˆāļ‡āļ—āļĩāđˆāļĄāļēāđ„āļĄāđˆāļŠāļąāļ”āđ€āļˆāļ™
  • āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāļ­āļēāļˆāđāļ•āļāļ•āđˆāļēāļ‡āļāļąāļ™āđ„āļ›āļ•āļēāļĄāļŠāļ āļēāļžāđāļŠāļ‡ āļ‚āđ‰āļ­āļĄāļđāļĨāļ›āļĢāļ°āļŠāļēāļāļĢ āđāļĨāļ°āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄ
  • āļœāļĨāļšāļ§āļāļĨāļ§āļ‡āļ­āļēāļˆāđ„āļĄāđˆāļŠāļąāļ‡āđ€āļāļ•āđ€āļŦāđ‡āļ™āđ€āļ§āđ‰āļ™āđāļ•āđˆāļˆāļ°āļĄāļĩāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļāļ“āļ‘āđŒāļ„āļ§āļēāļĄāđ€āļŠāļ·āđˆāļ­āļĄāļąāđˆāļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļāļ“āļ‘āđŒāļāļēāļĢāļĒāļ­āļĄāļĢāļąāļšāļŠāļģāļŦāļĢāļąāļšāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ āļāļēāļĢāđ€āļĢāļĩāļĒāļāļ„āļ·āļ™ āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”
  2. āļ—āļ”āļŠāļ­āļšāļ”āđ‰āļ§āļĒāļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāļ•āļĢāļ‡āļāļąāļšāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļāļēāļĢāļœāļĨāļīāļ•āļˆāļĢāļīāļ‡
  3. āđ€āļžāļīāđˆāļĄāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ‚āļ”āļĒāđ€āļˆāđ‰āļēāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāļĄāļąāđˆāļ™āđƒāļˆāļ•āđˆāļģāļŦāļĢāļ·āļ­āļĄāļĩāļœāļĨāļāļĢāļ°āļ—āļšāļŠāļđāļ‡
  4. āļ•āļīāļ”āļ•āļēāļĄāļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ•āļąāļ§āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāđāļĨāļ°āļ•āļĢāļ§āļˆāļŠāļ­āļšāļ„āļ§āļēāļĄāļ–āļđāļāļ•āđ‰āļ­āļ‡āļ­āļĩāļāļ„āļĢāļąāđ‰āļ‡āļŦāļĨāļąāļ‡āļˆāļēāļāļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļāļĨāđ‰āļ­āļ‡āļŦāļĢāļ·āļ­āļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨ

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Panoptic Segmentation quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Panoptic Segmentation?

Panoptic segmentation assigns every image pixel both a semantic category and, for countable objects, an instance identity. It unifies semantic segmentation of amorphous regions with instance segmentation of distinct objects.

āļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āđāļšāļšāļžāļēāđ‚āļ™āļĢāļēāļĄāļēāļāļģāļŦāļ™āļ”āļ­āļ°āđ„āļĢāđƒāļŦāđ‰āļāļąāļšāļ—āļļāļāļžāļīāļāđ€āļ‹āļĨāđƒāļ™āļĢāļđāļ›āļ āļēāļž

āļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āđāļšāļš Panoptic āļˆāļ°āļ•āļīāļ”āļ›āđ‰āļēāļĒāļāļģāļāļąāļšāļ—āļļāļāļžāļīāļāđ€āļ‹āļĨāļ”āđ‰āļ§āļĒāļŦāļĄāļ§āļ”āļŦāļĄāļđāđˆ āđāļĨāļ°āļĄāļ­āļš ID āļ­āļīāļ™āļŠāđāļ•āļ™āļ‹āđŒāļ—āļĩāđˆāđ„āļĄāđˆāļ‹āđ‰āļģāļāļąāļ™āđƒāļŦāđ‰āļāļąāļš 'āļŠāļīāđˆāļ‡āļ‚āļ­āļ‡' āđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄ āđ‚āļ”āļĒāđ„āļĄāđˆāļ—āļīāđ‰āļ‡āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļŦāļĢāļ·āļ­āļ—āļąāļšāļ‹āđ‰āļ­āļ™āļāļąāļ™

āđƒāļ™āļ„āļģāļĻāļąāļžāļ—āđŒāđāļšāļš panoptic āļ„āļĨāļēāļŠ 'āļŠāļīāđˆāļ‡āļ‚āļ­āļ‡' āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

'āļŠāļīāđˆāļ‡āļ‚āļ­āļ‡' āļŦāļĄāļēāļĒāļ–āļķāļ‡āļžāļ·āđ‰āļ™āļ—āļĩāđˆāļžāļ·āđ‰āļ™āļŦāļĨāļąāļ‡āļ­āļŠāļąāļ“āļāļēāļ™āļ™āļąāļšāđ„āļĄāđˆāđ„āļ”āđ‰ āđ€āļŠāđˆāļ™ āļ—āđ‰āļ­āļ‡āļŸāđ‰āļēāļŦāļĢāļ·āļ­āļ–āļ™āļ™ āļ‹āļķāđˆāļ‡āđ„āļ”āđ‰āļĢāļąāļšāļŦāļĄāļ§āļ”āļŦāļĄāļđāđˆ āđāļ•āđˆāđ„āļĄāđˆāļĄāļĩ ID āļ­āļīāļ™āļŠāđāļ•āļ™āļ‹āđŒ

āļ‚āđ‰āļ­ āļˆāļģāļāļąāļ” āļŦāļĨāļąāļāļ‚āļ­āļ‡āļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āļ„āļ§āļēāļĄāļŦāļĄāļēāļĒāļ—āļĩāđˆāļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āđāļšāļš panoptic āđ€āļ­āļēāļŠāļ™āļ°āļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āļ„āļ§āļēāļĄāļŦāļĄāļēāļĒāļˆāļ°āļ•āļīāļ”āļ›āđ‰āļēāļĒāļāļģāļāļąāļšāļžāļīāļāđ€āļ‹āļĨāļ•āļēāļĄāļŦāļĄāļ§āļ”āļŦāļĄāļđāđˆ āđāļ•āđˆāđ„āļĄāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļĒāļāļ„āļ™āļŠāļ­āļ‡āļ„āļ™āļ­āļ­āļāļˆāļēāļāļāļąāļ™āđ„āļ”āđ‰ panoptic āđ€āļžāļīāđˆāļĄāļ‚āđ‰āļ­āļĄāļđāļĨāļ›āļĢāļ°āļˆāļģāļ•āļąāļ§āļ‚āļ­āļ‡āļ­āļīāļ™āļŠāđāļ•āļ™āļ‹āđŒ

āđ€āļĄāļ•āļĢāļīāļāđƒāļ”āļ—āļĩāđˆāđƒāļŠāđ‰āđƒāļ™āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āļļāļ“āļ āļēāļžāļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āđāļšāļš Panoptic

āļ„āļļāļ“āļ āļēāļžāđāļšāļš Panoptic (PQ) āļœāļŠāļĄāļœāļŠāļēāļ™āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāđƒāļ™āļāļēāļĢāļˆāļ”āļˆāļģāđ€āļ‚āđ‰āļēāļāļąāļšāļāļēāļĢāđāļšāđˆāļ‡āļŠāđˆāļ§āļ™āļ—āļĩāđˆāļ—āļąāļšāļ‹āđ‰āļ­āļ™āļāļąāļ™āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āļ§āđˆāļēāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļŠāļīāđˆāļ‡āļ•āđˆāļēāļ‡ āđ† āđ„āļ”āđ‰āļ”āļĩāđ€āļžāļĩāļĒāļ‡āđƒāļ”

What does segmentation quality (SQ) measure within Panoptic Quality?

In the panoptic metric, SQ averages the intersection-over-union of matched segments; RQ captures recognition quality.

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →