테스트 시간 확대
TTA(테스트 시간 확대)는 동일한 입력의 여러 변경된 버전에 대해 훈련된 모델을 실행하고 예측의 평균을 냅니다.
개요
이는 종종 몇 가지 추가 정확도 포인트를 짜내고 예측을 더욱 강력하게 만드는 간단하고 훈련이 필요 없는 트릭입니다.
심층 분석
테스트 시간 증대는 단일 입력을 받아 여러 개의 변환된 복사본(뒤집기, 자르기, 회전, 색상 이동 또는 크기 조정된 버전)을 생성하고 각각 동일한 고정 모델을 통해 실행한 다음 일반적으로 확률 또는 로짓을 평균하여 출력을 결합합니다. 직관: 각각의 증강은 모델을 약간 다른 보기에 노출시키며, 개별 보기의 오류는 하나의 네트워크에서 구축된 작은 앙상블처럼 풀링될 때 취소되는 경향이 있습니다. 결정적으로 TTA는 재교육이나 추가 라벨이 필요하지 않습니다. 모델이 샘플당 N번 실행되기 때문에 추론 시 컴퓨팅 비용이 더 많이 듭니다. 이는 컴퓨터 비전(특히 Kaggle 대회 및 의료 영상)에서 가장 인기가 높지만 오디오 및 텍스트에도 나타납니다. 증강은 라벨을 보존해야 합니다. 흉부 엑스레이를 뒤집는 것은 괜찮지만 숫자 '6'을 '9'로 바꾸는 것은 그렇지 않습니다.
기술적 통찰력
증강된 뷰 전체의 모델 예측 오류가 부분적으로 상관되지 않은 경우 평균화는 앙상블과 마찬가지로 분산을 줄입니다. 단, 하나의 가중치 세트를 사용합니다. 분류의 경우 일반적으로 뷰에 대한 소프트맥스 확률(또는 로짓)의 평균을 냅니다. 분할을 위해서는 풀링 전에 각 기하학적 변환을 반전시켜 픽셀 맵을 다시 정렬해야 합니다. 레이블 보존 증대를 선택하는 것이 중요합니다. 실제 클래스를 변경하는 변환은 노이즈를 제거하는 대신 편향을 주입합니다.
전략적 영향
비용 및 예산
아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
더 명확한 결정들
기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
품질 관리
더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
테스트 시간 확대의 미래
연구는 고정된 세트를 적용하는 대신 작은 정책이 각 특정 입력에 도움이 되는 증강을 선택하는 학습 및 적응형 TTA로 이동하고 있습니다. '탐욕' 및 차별화 가능한 TTA 정책 검색과 자신감 있는 견해를 더 신뢰하는 불확실성 가중 평균이 활발한 영역입니다. TTA가 테스트 시간 훈련 및 자체 감독 적응과 혼합되어 배포된 모델이 재훈련이 필요하지 않은 매력적인 특성을 유지하면서 배포 변화에 즉시 적응할 수 있을 것으로 기대합니다.
실제 구현
추론 시 ImageNet 분류 정확도를 높이기 위해 이미지의 수평 뒤집기와 여러 자르기에 대한 평균 예측.
보다 안정적인 묘사를 위해 의료 영상 분할(예: 종양 또는 장기 경계)에서 회전/뒤집기 반전 및 마스크 평균화.
10개 작물 또는 다중 규모 TTA를 적용하는 Kaggle 경쟁업체는 재교육 없이 리더보드에서 단 몇 퍼센트의 점유율도 얻을 수 있습니다.
보다 안정적인 레이블을 위해 약간의 시간 이동 또는 피치 교란 클립 및 풀링 출력에 대해 음성 또는 오디오 분류기를 실행합니다.
위험 및 가드레일
하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
인프라 및 유지 관리 비용은 종종 과소평가됩니다.
시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
구현 로드맵
구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Test-Time Augmentation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
시험 시간 훈련
자주 묻는 질문
테스트 시간 확대란 무엇입니까?
TTA(테스트 시간 확대)는 동일한 입력의 여러 변경된 버전에 대해 훈련된 모델을 실행하고 예측의 평균을 냅니다. 이는 종종 몇 가지 추가 정확도 포인트를 짜내고 예측을 더욱 강력하게 만드는 간단하고 훈련이 필요 없는 트릭입니다.
테스트 시간 확대의 핵심 아이디어는 무엇입니까?
TTA는 동일한 훈련된 모델을 통해 하나의 입력에 대한 여러 증강 버전을 제공하고 재훈련 없이 예측을 집계합니다.
TTA가 종종 정확도를 향상시키는 이유는 무엇입니까?
여러 뷰에 대한 평균화는 하나의 네트워크의 앙상블처럼 동작하여 뷰별 오류가 부분적으로 상관되지 않은 경우 분산을 줄입니다.
TTA를 이용하는데 드는 주요 비용은 얼마인가요?
각 입력이 네트워크를 N 번 통과하기 때문에 추론 비용이 대략 N 배 더 높아집니다.
실제로 숫자 분류기에 해를 끼칠 수 있는 증강 선택은 무엇입니까?
증강은 실제 레이블을 유지해야 합니다. 특정 숫자를 뒤집으면 신원이 바뀌고 편견이 주입됩니다.
세분화에서 TTA 출력을 평균화하기 전에 어떤 추가 단계가 필요합니까?
기하학적 증대는 픽셀을 이동시키므로 각 출력 마스크는 풀링 전에 원래 좌표 프레임으로 다시 변환되어야 합니다.