Segmenkan Apa-apa Model
Model Apa-apa Segmen (SAM) ialah Meta model asas AI untuk pembahagian imej: diberi titik, kotak atau pembayang kasar, ia menggariskan objek yang sepadan dengan serta-merta.
Gambaran keseluruhan
It was built to generalize to objects and images it never saw during training, making segmentation a promptable task.
Menyelam dalam
Dikeluarkan oleh Meta AI pada tahun 2023, SAM membingkaikan semula segmentasi sebagai masalah segera: anda memberikannya gesaan (klik, kotak, topeng atau pembayang terbitan teks) dan ia mengembalikan satu atau lebih topeng objek. Kuasanya datang sebahagian daripada skala: ia dilatih pada SA-1B, set data lebih 1 bilion topeng merentas 11 juta imej, dibina dengan enjin anotasi model dalam gelung. Dari segi seni bina, SAM mempunyai pengekod imej berat dijalankan sekali bagi setiap imej, pengekod gesaan ringan dan penyahkod topeng pantas, jadi satu imej terbenam boleh digesa semula secara interaktif dalam masa nyata. Ia membolehkan pemindahan sifar pukulan ke banyak tugas. SAM 2, dikeluarkan pada 2024, memanjangkan ini kepada video, menjejak objek merentas bingkai.
Wawasan Teknikal
SAM menggunakan pengekod imej Vision Transformer (ViT), selalunya dipralatih dengan pengekodan auto bertopeng, untuk menghasilkan pembenaman imej yang padat. Gesaan dikodkan ke dalam token, dan penyahkod berasaskan pengubah dengan perhatian silang menggabungkan token gesaan dengan imej yang dibenamkan pada topeng keluaran serta skor keyakinan. Untuk menyelesaikan kekaburan (satu klik boleh bermakna butang, baju atau seseorang), SAM meramalkan beberapa topeng yang sah sekali gus dan meletakkan kedudukannya, membenarkan penggunaan hiliran atau gesaan tambahan dinyahkekaburan.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Model Segmen Apa-apa sahaja
SAM telah menjadi tulang belakang lalai untuk alat anotasi, pengimejan perubatan, robotik dan saluran paip AR, sering dipasangkan dengan pengesan atau model teks untuk aliran kerja 'segmen mengikut nama' perbendaharaan kata terbuka. Jangkakan varian yang lebih ringan, lebih pantas (MobileSAM, EfficientSAM) untuk penggunaan pada peranti, penyepaduan yang lebih mendalam dengan bahasa untuk pembahagian terdorong teks sepenuhnya dan pengembangan berterusan ke dalam video dan 3D. Sebagai model asas, benamnya semakin banyak digunakan semula sebagai lapisan persepsi yang memberi makan kepada sistem lain.
Pelaksanaan Dunia Sebenar
Platform anotasi imej menggunakan SAM untuk membenarkan pelabel mengklik sekali dan menjana topeng objek tepat secara automatik, mengurangkan masa pelabelan.
Penyelidik menyesuaikan SAM (cth., MedSAM) untuk menggariskan organ dan tumor dalam imbasan CT dan MRI.
Editor foto dan video menyepadukan SAM untuk memotong subjek atau mengalih keluar latar belakang daripada satu klik.
SAM 2 menjejak dan membahagikan objek merentas bingkai video untuk kesan AR dan persepsi robotik.
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Segment Anything Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Model Ketekalan
Soalan lazim
What is Segment Anything Model?
Model Apa-apa Segmen (SAM) ialah Meta model asas AI untuk pembahagian imej: diberi titik, kotak atau pembayang kasar, ia menggariskan objek yang sepadan dengan serta-merta. Ia dibina untuk membuat generalisasi kepada objek dan imej yang tidak pernah dilihat semasa latihan, menjadikan pembahagian tugas yang pantas.
Apakah idea teras yang menjadikan SAM sebagai 'model asas' untuk pembahagian?
SAM membingkai semula segmentasi sebagai pantas dan direka bentuk untuk pemindahan sifar tangkapan ke objek dan imej di luar set latihannya.
Secara kasar berapa besar set data SA-1B digunakan untuk melatih SAM?
SA-1B mengandungi lebih 1 bilion topeng pada sekitar 11 juta imej, dibina dengan enjin anotasi model-in-the-loop.
Mengapakah SAM membahagikan seni binanya kepada pengekod imej berat dan pengekod/penyahkod segera yang ringan?
Pengekodan imej yang mahal berjalan sekali; kemudian pengekodan segera yang murah dan penyahkodan topeng membenarkan penggerakan semula yang pantas dan interaktif bagi imej yang sama.
Bagaimanakah SAM mengendalikan gesaan yang tidak jelas, seperti satu klik yang boleh bermakna beberapa objek?
SAM mengeluarkan beberapa topeng calon dengan markah supaya kesamaran dapat diselesaikan dengan kedudukan atau gesaan tambahan.
Apakah jenis tulang belakang yang SAM gunakan untuk mengekod imej input?
Pengekod imej SAM ialah Pengubah Penglihatan, selalunya dipralatih dengan pengekodan auto bertopeng, menghasilkan pembenaman imej yang padat.