가우스 스플래팅
Gaussian Splatting은 3D 장면을 실시간으로 렌더링할 수 있는 수백만 개의 작고 색상이 지정된 반투명 덩어리로 나타냅니다.
개요
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
심층 분석
SIGGRAPH 2023에서 소개된 3D Gaussian Splatting은 NeRF와 같은 사진의 장면을 재구성하지만 숨겨진 신경망 대신 명시적인 표현을 사용합니다. 각 장면은 3D 가우스 구름, 퍼지 타원형 얼룩이며 각 얼룩은 위치, 크기 및 방향(공분산), 불투명도 및 색상을 저장합니다. 네트워크를 통해 천천히 광선을 발사하는 대신 이 방법은 이러한 얼룩을 화면에 직접 "튀기고" 혼합합니다. 이 프로세스는 기존 래스터화에 더 가깝기 때문에 매우 빠릅니다. 훈련은 카메라 교정에 의해 생성된 희박한 포인트 클라우드에서 시작된 다음 블롭을 최적화하는 동시에 장면이 덜 재구성된 부분에 세부 사항을 적응적으로 추가하고 너무 많은 부분을 잘라냅니다. 그 결과 최고의 NeRF에 필적하는 품질을 갖춘 1080p의 실시간 렌더링이 가능해졌으며, 이것이 그래픽 및 캡처 도구를 통해 빠르게 확산된 이유입니다.
기술적 통찰력
핵심은 차별화 가능한 타일 기반 래스터라이저입니다. 3D 가우시안은 2D로 투영되고 깊이별로 정렬되며 화면 타일별로 알파 블렌딩되므로 렌더링은 NeRF를 느리게 만드는 픽셀별 레이 행진을 방지합니다. 색상은 구형 고조파로 저장되므로 각 얼룩이 보는 각도에 따라 모양이 바뀌어 반사를 캡처할 수 있습니다. 전체 파이프라인이 미분 가능하기 때문에 NeRF에서 사용하는 것과 동일한 사진 일치 경사하강법은 얼룩 위치, 모양, 불투명도 및 색상을 최적화하는 반면, 치밀화 단계에서는 가우시안을 늘리거나 분할하여 누락된 세부 정보를 추가합니다.
전략적 영향
속도와 규모
Visual AI는 대규모 검사, 감지 및 태그 지정 작업을 자동화할 수 있습니다.
빌드 선택
크리에이티브 팀은 수동 수정 횟수를 줄여 컨셉의 프로토타입을 더 빠르게 제작할 수 있습니다.
팀과 워크플로우
이전에는 처리하기 어려웠던 이미지 및 비디오 신호를 작업에 사용할 수 있습니다.
가우스 스플래팅의 미래
Gaussian Splatting은 소비자 GPU 및 브라우저에서 실시간으로 렌더링하기 때문에 연구에서 3D 캡처, 매핑 및 가상 제작을 위한 제품으로 빠르게 이동하고 있습니다. 활성 작업은 파일 크기 축소(장면이 클 수 있음), 동적 및 애니메이션 장면 처리, 개별 개체 재조명 및 편집을 목표로 합니다. 게임 엔진 및 AR/VR과의 더욱 긴밀한 통합, 스플랫과 메시를 결합한 하이브리드 방식, 휴대폰 비디오 캡처를 기대하세요. 대화형 속도가 중요한 모든 곳에서 NeRF를 실질적으로 보완하거나 대체하는 것으로 점점 더 인식되고 있습니다.
실제 구현
웹용 공간이나 제품에 대한 탐색 가능한 실시간 3D 캡처 생성
사실적이며 탐색 가능한 세트를 사용한 가상 제작 및 영화 사전 시각화
휴대폰이나 드론 영상을 통해 물체와 환경을 빠르게 3D 스캐닝
소비자 하드웨어에서 원활하게 실행되는 대화형 AR/VR 장면 구축
위험 및 가드레일
출처가 불분명할 경우 이미지 권리 및 동의는 법적 위험이 될 수 있습니다.
모델 성능은 조명, 인구통계, 환경에 따라 달라질 수 있습니다.
신뢰도 임계값을 모니터링하지 않으면 거짓양성이 발견되지 않을 수 있습니다.
구현 로드맵
정밀도, 재현율, 오류 비용에 대한 허용 기준을 정의합니다.
실제 생산 조건과 일치하는 데이터로 테스트합니다.
신뢰도가 낮거나 영향력이 큰 예측에 대해 인적 검토를 추가합니다.
모델 드리프트를 추적하고 카메라 또는 데이터 세트가 변경된 후 재검증합니다.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
가우스 프로세스
자주 묻는 질문
What is Gaussian Splatting?
Gaussian Splatting은 3D 장면을 실시간으로 렌더링할 수 있는 수백만 개의 작고 색상이 지정된 반투명 덩어리로 나타냅니다. 대화형 시청이 가능할 만큼 빠르게 실행되면서 NeRF와 같은 사실감을 제공합니다.
Gaussian Splatting은 3D 장면을 어떻게 표현합니까?
장면은 위치, 모양, 불투명도 및 색상이 포함된 퍼지 타원체인 3D 가우스의 명시적인 구름입니다.
Gaussian Splatting이 원래 NeRF보다 렌더링 속도가 훨씬 빠른 이유는 무엇입니까?
타일 기반 래스터화를 통해 얼룩을 투영하고 혼합하면 NeRF의 느린 픽셀당 레이 행진을 피하여 실시간 속도가 가능합니다.
각 3D 가우스는 어떤 정보를 저장하나요?
각 얼룩은 위치, 공분산(크기 및 방향), 불투명도 및 색상 정보를 전달합니다.
보는 각도에 따라 얼룩의 색상을 변경하는 데 사용되는 것은 무엇입니까?
색상은 구형 고조파로 인코딩되므로 각 가우스는 반사를 포착하여 서로 다른 방향에서 다르게 나타날 수 있습니다.
Gaussian Splatting에서는 일반적으로 훈련이 어떻게 시작되나요?
구조-모션 카메라 교정의 희소 포인트로 시작한 다음 거기에서 가우시안을 최적화합니다.