잔여 네트워크
ResNets(Residual Networks)는 레이어가 전체 변환 대신 작은 조정을 학습할 수 있도록 '연결 건너뛰기'를 추가하는 심층 신경망입니다.
개요
이 간단한 트릭을 통해 수백 개의 레이어 깊이의 네트워크를 훈련할 수 있게 되었고, 이미지 인식 정확도가 크게 향상되었습니다.
심층 분석
ResNets 이전에는 역설적으로 많은 레이어를 쌓으면 네트워크 성능이 저하되었습니다. 훈련 데이터에서도 네트워크 성능 저하라는 문제가 발생했습니다. 2015년에 Microsoft 연구원 Kaiming He와 동료들은 잔차 블록을 도입했습니다. 즉, 레이어 스택에 출력 H(x)를 직접 생성하도록 요청하는 대신 잔차 F(x) = H(x) - x를 학습시킨 다음 바로가기를 통해 원래 입력 x를 다시 추가했습니다. 레이어가 필요하지 않은 경우 아무것도 하지 않는 방법을 간단히 학습할 수 있습니다(F(x) = 0). ResNet-152는 인간 수준의 추정치를 제치고 약 3.6%의 상위 5개 오류로 2015년 ImageNet 대회에서 우승했으며, ResNet-152의 아키텍처는 감지, 분할 및 의료 영상의 기본 백본이 되었습니다.
기술적 통찰력
건너뛰기 연결은 각 블록의 작업을 y = F(x) + x로 바꿉니다. 역전파 동안 그래디언트는 변경되지 않고 항등 지름길을 통해 흐르므로 수백 개의 레이어에 걸쳐도 거의 0으로 사라질 수 없습니다. 이는 딥 스택을 훈련 가능하게 유지합니다. ID 바로가기는 추가 매개변수를 추가하지 않습니다. 입력 크기와 출력 크기가 다른 경우에만 작은 투영(1x1 컨볼루션)으로 추가하기 전에 크기를 조정합니다.
전략적 영향
속도와 규모
Visual AI는 대규모 검사, 감지 및 태그 지정 작업을 자동화할 수 있습니다.
빌드 선택
크리에이티브 팀은 수동 수정 횟수를 줄여 컨셉의 프로토타입을 더 빠르게 제작할 수 있습니다.
팀과 워크플로우
이전에는 처리하기 어려웠던 이미지 및 비디오 신호를 작업에 사용할 수 있습니다.
잔여 네트워크의 미래
잔여 연결은 이제 거의 보편적입니다. 변환기, 확산 모델 및 대규모 언어 모델은 모두 이를 사용하여 매우 깊은 스택의 훈련을 안정화합니다. 사전 활성화 ResNets, ResNeXt의 그룹화된 경로, 잔여 아이디어를 정규화 없는 교육과 결합하는 등의 변형에 대한 연구가 계속되고 있습니다. 주변 아키텍처가 순수 컨볼루션에서 어텐션 및 하이브리드 디자인으로 전환하는 경우에도 핵심 건너뛰기 연결 원리가 기본 빌딩 블록으로 유지될 것으로 기대합니다.
실제 구현
전이 학습을 위해 사전 훈련된 특징 추출기로 사용되는 ImageNet 분류 백본(ResNet-50, ResNet-101)
ResNet 기반 인코더를 사용하여 방사선학 및 병리학 이미지에서 종양 및 병변 감지
ResNet 백본을 사용하는 Faster R-CNN 및 Mask R-CNN과 같은 객체 감지 및 인스턴스 분할 프레임워크
카메라 프레임에서 보행자, 차량, 표지판을 분류하는 자율주행 인식 파이프라인
위험 및 가드레일
출처가 불분명할 경우 이미지 권리 및 동의는 법적 위험이 될 수 있습니다.
모델 성능은 조명, 인구통계, 환경에 따라 달라질 수 있습니다.
신뢰도 임계값을 모니터링하지 않으면 거짓양성이 발견되지 않을 수 있습니다.
구현 로드맵
정밀도, 재현율, 오류 비용에 대한 허용 기준을 정의합니다.
실제 생산 조건과 일치하는 데이터로 테스트합니다.
신뢰도가 낮거나 영향력이 큰 예측에 대해 인적 검토를 추가합니다.
모델 드리프트를 추적하고 카메라 또는 데이터 세트가 변경된 후 재검증합니다.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
기능 피라미드 네트워크
자주 묻는 질문
잔여 네트워크란 무엇입니까?
ResNets(Residual Networks)는 레이어가 전체 변환 대신 작은 조정을 학습할 수 있도록 '연결 건너뛰기'를 추가하는 심층 신경망입니다. 이 간단한 트릭을 통해 수백 개의 레이어 깊이의 네트워크를 훈련할 수 있게 되었고, 이미지 인식 정확도가 크게 향상되었습니다.
잔여 연결이 구체적으로 어떤 문제를 해결했습니까?
ResNets 이전에는 더 많은 레이어를 추가하면 훈련 데이터에서도 정확도가 저하되었습니다. 레이어를 쉽게 최적화할 수 있도록 하여 연결 건너뛰기가 이 문제를 해결했습니다.
잔차 블록은 실제로 출력으로 무엇을 계산합니까?
잔차 블록은 y = F(x) + x를 출력하고 학습된 잔차를 건너뛰기 연결을 통해 입력에 추가합니다.
훈련 중에 연결 건너뛰기가 경사도에 도움이 되는 이유는 무엇입니까?
ID 단축키는 그래디언트가 변경 없이 뒤로 흐르는 직접적인 경로를 제공하여 매우 깊은 스택에서 그래디언트 소실 문제를 방지합니다.
2015년에 우승한 ResNet 모델에는 대략 몇 개의 레이어가 있었습니까?
152개의 레이어를 갖춘 ResNet-152는 2015년 ImageNet 대회에서 우승하여 이제 매우 심층적인 네트워크를 성공적으로 훈련할 수 있음을 보여주었습니다.
잔차 블록의 레이어가 F(x) = 0을 학습하면 블록은 무엇을 합니까?
F(x) = 0이면 출력은 단지 x이므로 블록은 항등 매핑이 됩니다. 이렇게 하면 필요하지 않은 경우 추가 레이어가 무해해집니다.