개요
Flatter minima tend to generalize better, so SAM often improves test accuracy and robustness without changing the model architecture.
심층 분석
표준 훈련은 가중치 공간의 단일 지점에서 손실을 최소화하지만 동일한 훈련 손실을 갖는 두 가지 솔루션은 매우 다르게 동작할 수 있습니다. '날카로운' 최소값은 작은 가중치 변동이 손실을 급증시키는 좁은 계곡에 위치하는 반면, '플랫' 최소값은 변동을 허용하고 일반적으로 보이지 않는 데이터에 더 잘 일반화됩니다. Google 연구원들이 2020년에 도입한 SAM은 이를 명시적으로 보여줍니다. 각 단계에서 먼저 손실을 최대화하는 인근 가중치 섭동(작은 반경 rho 내)(최악의 이웃)을 찾은 다음 원래 가중치를 업데이트하여 교란된 지점에서 손실을 줄입니다. 이 최소-최대 목표는 균일하게 낮은 영역으로 최적화를 추진하여 이미지 분류 및 그 이상에 대해 눈에 띄게 더 나은 일반화를 제공합니다.
실제 구현
일반 SGD 대신 SAM을 사용하여 교육하여 ImageNet에서 Vision Transformer 및 ResNet 정확도를 높입니다.
플랫 최소값은 손상된 레이블을 기억할 가능성이 적기 때문에 레이블 노이즈에 대한 견고성을 향상시킵니다.
소규모 다운스트림 데이터 세트에 대한 일반화를 향상하기 위해 SAM을 사용하여 사전 훈련된 언어 모델을 미세 조정합니다.
바닐라 SAM의 두 배 계산 비용이 너무 비싼 경우 ESAM 또는 LookSAM 변형을 사용합니다.
선명도 인식 최소화의 미래
SAM은 가장 큰 약점인 이중 컴퓨팅을 목표로 하는 후속 제품군을 생성했습니다. ESAM, LookSAM과 같은 효율적인 변형과 가중치 하위 집합만 교란하거나 몇 단계마다 SAM을 적용하는 방법입니다. 적응형 SAM(ASAM)은 반경을 크기 불변으로 재매개변수화합니다. 연구자들은 왜 평탄성이 도움이 되고 어떻게 측정하는지 정확히 토론하고 있으며, 선명도를 인식하는 아이디어는 대규모 언어 모델을 미세 조정하고 배포 변화에 대한 견고성을 향상시키는 데 확산되고 있습니다.
실천에 옮기기
왜 중요한가요?
- 비용 및 예산. 아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
- 더 명확한 결정들. 기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
- 품질 관리. 더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
조심하세요
- 하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
- 인프라 및 유지 관리 비용은 종종 과소평가됩니다.
- 시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
다음 단계
- 구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
- 현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
- 오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
- 확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the Sharpness-Aware Minimization quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
What is Sharpness-Aware Minimization?
선명도 인식 최소화(SAM)는 낮은 손실뿐만 아니라 가중치 전체에 걸쳐 낮은 손실, 즉 균일한 최소값을 추구하는 최적화 방법입니다. 최소값이 평평할수록 일반화되는 경향이 있으므로 SAM은 모델 아키텍처를 변경하지 않고도 테스트 정확성과 견고성을 향상시키는 경우가 많습니다.
SAM은 어떤 종류의 최소값을 찾으려고 합니까?
SAM은 작은 가중치 변동 하에서 낮게 유지되는 손실이 보이지 않는 데이터에 더 잘 일반화되는 경향이 있기 때문에 평평한 최소값을 목표로 합니다.
표준 SAM 단계에는 몇 번의 전진-후진 패스가 필요합니까?
SAM은 경사도를 계산하여 근처의 최악의 지점을 찾은 다음 업데이트할 또 다른 경사도를 찾습니다. 이는 일반적인 비용의 약 두 배입니다.
SAM에서 반경 하이퍼파라미터 rho는 무엇을 제어합니까?
Rho는 최악의 이웃을 찾기 위해 '상승' 단계가 얼마나 멀리 이동하는지 설정하여 SAM이 추구하는 평탄한 지역의 크기를 정의합니다.
각 반복에서 SAM의 두 단계 중 첫 번째 단계는 무엇입니까?
SAM은 먼저 손실이 최대화되는 방향으로 반경 rho 내의 가중치를 교란한 다음 거기에서 계산된 기울기를 사용하여 원래 지점에서 내려갑니다.
SAM이 종종 라벨 노이즈에 대한 견고성을 향상시키는 이유는 무엇입니까?
시끄러운 레이블을 기억하려면 일반적으로 날카롭고 좁은 최소값이 필요합니다. SAM은 평평한 영역을 선호함으로써 과적합을 방지합니다.