Trường bức xạ Mip-NeRF và khử răng cưa
Mip-NeRF sửa các hiện tượng mờ, lởm chởm gây khó chịu cho NeRF ban đầu khi bạn hiển thị cảnh ở các khoảng cách hoặc độ phân giải khác nhau.
Tổng quan
It does this by tracing cones instead of infinitely thin rays, making 3D scene rendering both sharper and faster to train.
Lặn sâu
NeRF ban đầu lấy mẫu một cảnh dọc theo các tia mỏng, mỗi lần một điểm và đưa từng vị trí 3D vào mạng lưới thần kinh. Vấn đề: một điểm duy nhất sẽ bỏ qua lượng pixel thực sự bao phủ bao nhiêu cảnh. Một pixel gần camera sẽ nhìn thấy một vùng nhỏ; cùng một pixel ở xa sẽ nhìn thấy một pixel lớn. Việc lấy mẫu chúng giống hệt nhau gây ra hiện tượng răng cưa - nhấp nháy và răng cưa khi bạn phóng to hoặc di chuyển. Mip-NeRF (Barron và cộng sự, 2021) thay thế mỗi tia bằng một hình nón và chia nó thành các hình nón cụt. Thay vì mã hóa một điểm, nó mã hóa vùng bên trong mỗi khoảng trống bằng cách sử dụng mã hóa vị trí tích hợp (IPE), xấp xỉ âm lượng bằng Gaussian. Điều này cho phép một mạng đa quy mô duy nhất hiển thị mọi độ phân giải một cách rõ ràng, cắt giảm đáng kể lỗi và thời gian đào tạo.
Hiểu biết kỹ thuật
Bí quyết chính là mã hóa vị trí tích hợp. NeRF tiêu chuẩn ánh xạ một điểm thông qua các hàm sin và cosin ở nhiều tần số. Thay vào đó, Mip-NeRF xấp xỉ hình nón cụt dưới dạng Gaussian đa biến và tính giá trị kỳ vọng của các hình sin đó trên Gaussian đó. Các tính năng tần số cao thay đổi rất nhiều bên trong một phạm vi lớn sẽ tự động bị suy giảm về 0, cho đến nay hoặc các vùng thô chỉ sử dụng thông tin tần số thấp ổn định - chính xác là hành vi khử răng cưa của mipmap trong đồ họa cổ điển.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của trường bức xạ Mip-NeRF và khử răng cưa
Mip-NeRF đã ra mắt một nhóm trường khử răng cưa. Mip-NeRF 360 đã mở rộng các hình nón đến các cảnh ngoài trời không giới hạn với độ cong vênh co lại và Zip-NeRF đã hợp nhất tính năng khử răng cưa dựa trên hình nón với các biểu diễn lưới băm nhanh để đạt được cả chất lượng và tốc độ. Mong đợi ý tưởng tích hợp gây thất vọng sẽ tiếp tục chuyển sang các quy trình phân tán Gaussian và thời gian thực, trong đó kết xuất đa tỷ lệ, không có bí danh trên điện thoại và tai nghe là mục tiêu cho AR, lập bản đồ và chụp ảnh sống động.
Triển khai trong thế giới thực
Hiển thị rõ ràng đối tượng đã chụp trong trình xem sản phẩm cho phép người dùng phóng to từ chế độ xem toàn phòng xuống chi tiết bề mặt mịn mà không bị nhấp nháy.
Tái tạo các cảnh ngoài trời rộng lớn (thông qua Mip-NeRF 360) cho các chuyến tham quan du lịch ảo và bất động sản trong đó máy ảnh di chuyển qua nhiều độ sâu khác nhau.
Tạo hình ảnh đào tạo nhất quán ở nhiều độ phân giải cho robot hoặc mô phỏng lái xe tự động.
Tạo ra các khung hình xem tiểu thuyết tổng hợp sắc nét để xem trước phim và VFX trong đó hiện tượng răng cưa sẽ làm hỏng cảnh quay.
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mip-NeRF and Anti-Aliased Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Trường bức xạ thần kinh
Câu hỏi thường gặp
What is Mip-NeRF and Anti-Aliased Radiance Fields?
Mip-NeRF sửa các hiện tượng mờ, lởm chởm gây khó chịu cho NeRF ban đầu khi bạn hiển thị cảnh ở các khoảng cách hoặc độ phân giải khác nhau. Nó thực hiện điều này bằng cách dò theo các hình nón thay vì các tia cực mỏng, khiến cảnh 3D hiển thị sắc nét hơn và đào tạo nhanh hơn.
Mip-NeRF theo dõi hình dạng hình học nào trong khung cảnh thay vì tia mỏng được NeRF ban đầu sử dụng?
Mip-NeRF truyền một hình nón từ máy ảnh qua từng pixel và chia nó thành các phần hình nón, thu được khối lượng mà một pixel thực sự bao phủ.
Tên mã hóa của Mip-NeRF thay thế mã hóa vị trí tiêu chuẩn là gì?
Mip-NeRF giới thiệu mã hóa vị trí tích hợp, mã hóa một vùng (một khoảng trống gần đúng theo Gaussian) thay vì một điểm duy nhất.
Tại sao NeRF ban đầu tạo ra hiện tượng răng cưa khi khoảng cách camera thay đổi?
Mẫu điểm tia mỏng bỏ qua dấu vết của pixel, do đó, các pixel gần và xa được xử lý giống hệt nhau, gây ra hiện tượng răng cưa và nhấp nháy.
Mip-NeRF ước chừng khu vực bên trong hình nón cụt để mã hóa như thế nào?
Mỗi sự thất vọng được xấp xỉ bằng một Gaussian đa biến và mã hóa sẽ tính toán giá trị mong đợi của các hình sin trên Gaussian đó.
Điều gì xảy ra với các tính năng mã hóa tần số cao bên trong một khu vực rộng lớn?
Bởi vì các hình sin tần số cao thay đổi rất nhiều trên một khoảng trống lớn, nên việc tích hợp trên Gaussian sẽ đẩy chúng về 0, tạo ra tính năng khử răng cưa giống như mipmap.