신경 복사장
NeRF(Neural Radiance Fields)는 몇 장의 일반 사진에서 전체 3D 장면을 재구성하여 카메라를 완전히 새로운 시점으로 이동할 수 있게 해줍니다.
개요
3D 캡처를 메시를 구축하는 대신 작은 신경망을 훈련하는 것으로 재구성했습니다.
심층 분석
Mildenhall과 동료들이 2020년에 소개한 NeRF는 작은 신경망(다층 퍼셉트론) 내부에 전체 장면을 저장합니다. 3D 점과 보는 방향이 주어지면 네트워크는 해당 점의 색상과 불투명도를 출력합니다. 픽셀을 렌더링하기 위해 NeRF는 장면에 광선을 쏘고, 이를 따라 점을 샘플링하고, 네트워크에 쿼리하고, 볼륨 렌더링을 사용하여 결과를 혼합합니다. 이 전체 프로세스는 미분 가능하기 때문에 렌더링된 픽셀을 실제 입력 사진과 비교하고 일치할 때까지 조정하여 네트워크를 훈련합니다. 그에 대한 대가는 반사 및 움직일 때 변하는 광택 하이라이트와 같은 뷰 의존적 효과를 포함하여 눈에 띄는 포토리얼리즘입니다. 단점은 각 장면마다 고유한 훈련 실행이 필요하고 원래 방법은 훈련과 렌더링이 모두 느리다는 것입니다.
기술적 통찰력
NeRF는 장면을 연속 5D 함수로 나타냅니다. 위치(x, y, z)와 보기 방향(두 각도)을 입력하면 MLP가 RGB 색상과 볼륨 밀도를 반환합니다. 중요한 세부 사항은 위치 인코딩입니다. 이는 고주파 사인 및 코사인 함수를 통해 좌표를 매핑하여 네트워크가 흐릿한 출력을 생성하는 대신 선명한 세부 사항을 캡처할 수 있도록 합니다. 렌더링은 각 카메라 광선을 따라 색상과 밀도를 통합하여 더 가깝고 더 불투명한 샘플에 더 많은 가중치를 부여합니다. 이는 정확하게 클래식 볼륨 렌더링의 수학을 학습할 수 있게 해줍니다.
전략적 영향
속도와 규모
Visual AI는 대규모 검사, 감지 및 태그 지정 작업을 자동화할 수 있습니다.
빌드 선택
크리에이티브 팀은 수동 수정 횟수를 줄여 컨셉의 프로토타입을 더 빠르게 제작할 수 있습니다.
팀과 워크플로우
이전에는 처리하기 어려웠던 이미지 및 비디오 신호를 작업에 사용할 수 있습니다.
신경 방사 필드의 미래
NeRF 연구는 2020년 이후 해시 그리드 인코딩을 사용하여 훈련을 몇 시간에서 몇 초로 단축하는 Instant-NGP, 규모 전반에 걸쳐 품질을 향상시키는 Mip-NeRF와 같은 후속 조치로 폭발적으로 증가했습니다. 이 분야는 점점 더 빠르게 렌더링되는 Gaussian Splatting과 병합되거나 이에 대한 도전을 받고 있습니다. 매핑, 전자 상거래 제품 보기, 영화 시각 효과 및 AR/VR에서 NeRF 파생 기술을 기대하고, 조명 변화에 따라 움직이는 장면과 "야생" 캡처를 처리하는 동적 NeRF의 성장을 기대하세요. 가장 큰 주제는 속도, 편집 가능성, 더 적고 지저분한 사진에서 장면 캡처입니다.
실제 구현
물체의 휴대폰 비디오를 3D 보기로 전환하면 온라인 쇼핑을 위해 궤도를 돌 수 있습니다.
영화 및 시각 효과를 위한 사실적인 배경으로 실제 위치를 재구성합니다.
가상 및 증강 현실 경험을 위한 몰입형 3D 장면 구축
사진 세트의 문화유산 및 유물을 디지털 방식으로 보존
위험 및 가드레일
출처가 불분명할 경우 이미지 권리 및 동의는 법적 위험이 될 수 있습니다.
모델 성능은 조명, 인구통계, 환경에 따라 달라질 수 있습니다.
신뢰도 임계값을 모니터링하지 않으면 거짓양성이 발견되지 않을 수 있습니다.
구현 로드맵
정밀도, 재현율, 오류 비용에 대한 허용 기준을 정의합니다.
실제 생산 조건과 일치하는 데이터로 테스트합니다.
신뢰도가 낮거나 영향력이 큰 예측에 대해 인적 검토를 추가합니다.
모델 드리프트를 추적하고 카메라 또는 데이터 세트가 변경된 후 재검증합니다.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
Mip-NeRF 및 앤티앨리어싱 래디언스 필드
자주 묻는 질문
신경 방사 필드란 무엇입니까?
NeRF(Neural Radiance Fields)는 몇 장의 일반 사진에서 전체 3D 장면을 재구성하여 카메라를 완전히 새로운 시점으로 이동할 수 있게 해줍니다. 3D 캡처를 메시를 구축하는 대신 작은 신경망을 훈련하는 것으로 재구성했습니다.
Neural Radiance Field의 주요 목표는 무엇입니까?
NeRF는 일련의 이미지로부터 3D 표현을 구축하여 원본 사진이 아닌 시점에서 사실적인 렌더링을 가능하게 합니다.
주어진 입력에 대해 NeRF 신경망은 무엇을 출력합니까?
3D 위치 및 보기 방향의 경우 MLP는 해당 지점의 색상과 밀도(불투명도)를 반환합니다.
NeRF의 5D 기능에 대한 입력은 무엇입니까?
NeRF는 3D 위치(x, y, z)와 시야 방향(2개 각도)을 가져와 총 5개의 입력을 제공합니다.
NeRF는 어떻게 네트워크 출력을 최종 픽셀 색상으로 변환합니까?
NeRF 샘플은 각 광선을 따라 점을 지정하고 밀도에 따라 가중치가 부여된 색상을 통합합니다. 이는 미분 가능한 고전적인 볼륨 렌더링 방정식입니다.
NeRF가 입력 좌표에 위치 인코딩을 사용하는 이유는 무엇입니까?
고주파 사인/코사인 함수를 통해 좌표를 매핑하면 MLP가 흐릿한 결과 대신 미세한 세부 사항을 표현할 수 있습니다.