Segmentasi Panoptik
Segmentasi panoptik memberi label pada setiap piksel dalam gambar, yang menyatukan 'wilayah apa ini' dengan 'objek spesifik apa ini'. Ini adalah bentuk pemahaman pemandangan terlengkap dalam visi komputer.
Menyelam Lebih Dalam
Computer vision sudah lama memiliki dua tugas terpisah. Segmentasi semantik memberi label pada setiap piksel berdasarkan kategori (jalan, langit, orang) namun tidak dapat membedakan dua orang. Segmentasi instance menemukan dan menguraikan objek individual yang dapat dihitung tetapi mengabaikan 'hal' di latar belakang seperti langit atau rumput. Segmentasi panoptik, yang diresmikan oleh peneliti AI Facebook pada tahun 2018, menggabungkan keduanya: segmentasi ini menetapkan setiap piksel sebuah kategori, dan untuk 'benda' yang dapat dihitung, ia juga menetapkan ID instans unik. Hasilnya adalah peta tunggal yang koheren tanpa kesenjangan atau tumpang tindih. Kualitas diukur dengan Kualitas Panoptik (PQ), yang menggabungkan seberapa akurat suatu wilayah dikenali dengan seberapa cocok batas-batasnya. Hal ini penting dimanapun mesin harus memahami keseluruhan pemandangan secara menyeluruh, seperti mobil self-driving yang menafsirkan jalan.
Wawasan Teknis
Model panoptik membagi label menjadi 'benda' (objek yang dapat dihitung seperti mobil dan orang, yang mendapatkan ID instans) dan 'barang' (wilayah amorf seperti jalan atau langit, yang tidak mendapatkan ID instans). Sistem awal menjalankan cabang semantik dan instance yang terpisah, kemudian menggabungkannya dengan aturan untuk menyelesaikan konflik piksel. Metode berbasis transformator yang lebih baru seperti Mask2Former memprediksi sekumpulan masker dengan label kelas terkait secara langsung, menangani benda dan benda dalam satu arsitektur terpadu.
Dampak Strategis
Kecepatan dan skala
Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
Build choices
Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
Team and workflow
Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Masa Depan Segmentasi Panoptik
Bidang ini berkonsolidasi di sekitar arsitektur transformator terpadu berbasis kueri yang menangani tugas semantik, instans, dan panoptik dengan satu model. Penelitian mendorong segmentasi panoptik video yang menjaga identitas instance tetap konsisten di seluruh frame, model kosakata terbuka yang mengelompokkan kategori yang dijelaskan dalam teks, dan model ringan yang cukup efisien untuk robot dan kendaraan. Data pelatihan sintetik yang lebih baik dan pengawasan mandiri mengurangi biaya besar dari anotasi manual dengan piksel sempurna.
Implementasi Dunia Nyata
Kendaraan otonom membuat peta tingkat piksel lengkap yang membedakan setiap mobil, pejalan kaki, jalan, dan trotoar
Pencitraan medis yang memberi label pada wilayah organ sambil menghitung lesi atau sel individual
Aplikasi augmented reality yang memisahkan setiap objek dan permukaan untuk menempatkan konten virtual secara realistis
Sistem robotika yang sepenuhnya mengurai pemandangan yang berantakan untuk merencanakan penangkapan dan navigasi
Risiko & Pagar Pembatas
Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Peta Jalan Implementasi
Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Panoptic Segmentation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Segmentasi Gambar
Pertanyaan yang sering diajukan
What is Panoptic Segmentation?
Segmentasi panoptik memberi label pada setiap piksel dalam gambar, yang menyatukan 'wilayah apa ini' dengan 'objek spesifik apa ini'. Ini adalah bentuk pemahaman pemandangan terlengkap dalam visi komputer.
Apa yang diberikan segmentasi panoptik pada setiap piksel dalam suatu gambar?
Segmentasi panoptik memberi label pada setiap piksel dengan sebuah kategori dan juga memberikan ID instans unik pada 'benda' yang dapat dihitung, tanpa meninggalkan celah atau tumpang tindih.
Dalam terminologi panoptik, apa yang dimaksud dengan kelas 'barang'?
'Barang' mengacu pada wilayah latar belakang tak berbentuk yang tak terhitung jumlahnya seperti langit atau jalan raya, yang menerima kategori namun tidak memiliki ID instans.
Apa batasan utama segmentasi semantik yang dapat diatasi oleh segmentasi panoptik?
Segmentasi semantik memberi label piksel berdasarkan kategori tetapi tidak dapat memisahkan dua orang satu sama lain; panoptic menambahkan identitas instance.
Metrik manakah yang digunakan untuk mengevaluasi kualitas segmentasi panoptik?
Kualitas Panoptik (PQ) menggabungkan akurasi pengenalan dengan segmentasi yang tumpang tindih untuk menilai seberapa baik suatu hal diprediksi.
Apa yang diterima oleh kelas 'benda' yang tidak diterima oleh kelas 'barang'?
'Hal-hal' yang dapat dihitung mendapatkan ID contoh unik sehingga masing-masing objek dapat dibedakan, sedangkan 'hal-hal' hanya mendapatkan kategori.