세그먼트 무엇이든 모델
SAM(Segment Anything Model)은 Meta 이미지 분할을 위한 AI의 기반 모델입니다. 점, 상자 또는 대략적인 힌트가 주어지면 즉시 해당 객체의 윤곽을 그립니다.
개요
It was built to generalize to objects and images it never saw during training, making segmentation a promptable task.
심층 분석
2023년 Meta AI에 의해 출시된 SAM은 세분화를 즉각적인 문제로 재구성합니다. 즉, 프롬프트(클릭, 상자, 마스크 또는 텍스트 파생 힌트)를 제공하면 하나 이상의 개체 마스크가 반환됩니다. 그 힘은 부분적으로 규모에서 나옵니다. 이는 Model-in-the-Loop 주석 엔진으로 구축된 1,100만 개의 이미지에 걸쳐 10억 개 이상의 마스크로 구성된 데이터 세트인 SA-1B에서 훈련되었습니다. 구조적으로 SAM에는 이미지당 한 번 실행되는 무거운 이미지 인코더, 가벼운 프롬프트 인코더 및 빠른 마스크 디코더가 있으므로 포함된 단일 이미지를 실시간으로 대화형으로 다시 프롬프트할 수 있습니다. 이는 많은 작업에 제로샷 전송을 가능하게 합니다. 2024년에 출시된 SAM 2는 이를 비디오로 확장하여 프레임 전체에서 객체를 추적합니다.
기술적 통찰력
SAM은 종종 마스크된 자동 인코딩으로 사전 훈련된 ViT(Vision Transformer) 이미지 인코더를 사용하여 조밀한 이미지 임베딩을 생성합니다. 프롬프트는 토큰으로 인코딩되며, 교차 주의 기능이 있는 변환기 기반 디코더는 프롬프트 토큰과 이미지 임베딩을 출력 마스크 및 신뢰도 점수와 융합합니다. 모호함(클릭은 단추, 셔츠 또는 사람을 의미할 수 있음)을 해결하기 위해 SAM은 여러 개의 유효한 마스크를 한 번에 예측하고 순위를 매겨 다운스트림 사용이나 추가 프롬프트를 통해 명확하게 합니다.
전략적 영향
속도와 규모
Visual AI는 대규모 검사, 감지 및 태그 지정 작업을 자동화할 수 있습니다.
빌드 선택
크리에이티브 팀은 수동 수정 횟수를 줄여 컨셉의 프로토타입을 더 빠르게 제작할 수 있습니다.
팀과 워크플로우
이전에는 처리하기 어려웠던 이미지 및 비디오 신호를 작업에 사용할 수 있습니다.
Segment Anything 모델의 미래
SAM은 주석 도구, 의료 영상, 로봇 공학 및 AR 파이프라인의 기본 백본이 되었으며 개방형 어휘 '이름별 세그먼트' 워크플로우를 위한 감지기 또는 텍스트 모델과 결합되는 경우가 많습니다. 온디바이스 사용을 위한 더 가볍고 빠른 변형(MobileSAM, EfficientSAM), 완전한 텍스트 기반 세분화를 위한 언어와의 심층 통합, 비디오 및 3D로의 지속적인 확장을 기대합니다. 기초 모델로서 해당 임베딩은 다른 시스템에 공급되는 인식 계층으로 점점 더 많이 재사용되고 있습니다.
실제 구현
이미지 주석 플랫폼은 SAM을 사용하여 라벨링 담당자가 한 번만 클릭하면 정확한 객체 마스크를 자동 생성하여 라벨링 시간을 단축할 수 있습니다.
연구자들은 SAM(예: MedSAM)을 적용하여 CT 및 MRI 스캔에서 장기와 종양의 윤곽을 잡아줍니다.
사진 및 비디오 편집자는 SAM을 통합하여 한 번의 클릭으로 피사체를 잘라내거나 배경을 제거합니다.
SAM 2는 AR 효과 및 로봇 인식을 위해 비디오 프레임 전체에서 객체를 추적하고 분할합니다.
위험 및 가드레일
출처가 불분명할 경우 이미지 권리 및 동의는 법적 위험이 될 수 있습니다.
모델 성능은 조명, 인구통계, 환경에 따라 달라질 수 있습니다.
신뢰도 임계값을 모니터링하지 않으면 거짓양성이 발견되지 않을 수 있습니다.
구현 로드맵
정밀도, 재현율, 오류 비용에 대한 허용 기준을 정의합니다.
실제 생산 조건과 일치하는 데이터로 테스트합니다.
신뢰도가 낮거나 영향력이 큰 예측에 대해 인적 검토를 추가합니다.
모델 드리프트를 추적하고 카메라 또는 데이터 세트가 변경된 후 재검증합니다.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Segment Anything Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
일관성 모델
자주 묻는 질문
What is Segment Anything Model?
SAM(Segment Anything Model)은 Meta 이미지 분할을 위한 AI의 기반 모델입니다. 점, 상자 또는 대략적인 힌트가 주어지면 즉시 해당 객체의 윤곽을 그립니다. 훈련 중에 본 적이 없는 객체와 이미지를 일반화하도록 구축되어 분할 작업이 신속하게 이루어졌습니다.
SAM을 세분화를 위한 '기초 모델'로 만드는 핵심 아이디어는 무엇입니까?
SAM은 분할을 신속하게 재구성하고 훈련 세트 외부의 객체 및 이미지로 제로샷 전송을 위해 설계되었습니다.
SAM을 훈련하는 데 사용되는 SA-1B 데이터 세트의 크기는 대략 얼마나 됩니까?
SA-1B에는 Model-in-the-Loop 주석 엔진으로 구축된 약 1,100만 개의 이미지에 10억 개 이상의 마스크가 포함되어 있습니다.
SAM이 아키텍처를 무거운 이미지 인코더와 가벼운 프롬프트 인코더/디코더로 분할하는 이유는 무엇입니까?
비용이 많이 드는 이미지 인코딩은 한 번만 실행됩니다. 그런 다음 저렴한 프롬프트 인코딩 및 마스크 디코딩을 통해 동일한 이미지에 대해 빠르고 대화형으로 다시 프롬프트를 표시할 수 있습니다.
SAM은 여러 개체를 의미할 수 있는 한 번의 클릭과 같은 모호한 프롬프트를 어떻게 처리합니까?
SAM은 점수와 함께 여러 후보 마스크를 출력하므로 순위 지정이나 추가 프롬프트를 통해 모호성을 해결할 수 있습니다.
SAM은 입력 이미지를 인코딩하기 위해 어떤 유형의 백본을 사용합니까?
SAM의 이미지 인코더는 종종 마스크 자동 인코딩으로 사전 훈련되어 조밀한 이미지 임베딩을 생성하는 Vision Transformer입니다.