Trường bức xạ thần kinh
Trường bức xạ thần kinh (NeRF) tái tạo lại cảnh 3D đầy đủ từ một số ảnh thông thường, cho phép bạn điều khiển máy ảnh đến các góc nhìn hoàn toàn mới.
Tổng quan
Nó định hình lại việc chụp 3D giống như việc đào tạo một mạng lưới thần kinh nhỏ hơn là xây dựng một mạng lưới.
Lặn sâu
Được Mildenhall và các đồng nghiệp giới thiệu vào năm 2020, NeRF lưu trữ toàn bộ cảnh bên trong một mạng lưới thần kinh nhỏ (một tri giác nhiều lớp). Với một điểm 3D và hướng xem, mạng sẽ đưa ra màu sắc của điểm đó và độ mờ của điểm đó. Để hiển thị một pixel, NeRF bắn một tia vào cảnh, lấy mẫu các điểm dọc theo nó, truy vấn mạng và trộn các kết quả bằng cách sử dụng kết xuất khối. Vì toàn bộ quá trình này có thể khác biệt nên mạng được huấn luyện bằng cách so sánh các pixel được hiển thị với ảnh đầu vào thực và điều chỉnh cho đến khi chúng khớp. Phần thưởng mang lại là chủ nghĩa quang học nổi bật, bao gồm các hiệu ứng phụ thuộc vào chế độ xem như phản chiếu và các điểm sáng bóng thay đổi khi bạn di chuyển. Nhược điểm là mỗi cảnh cần có quá trình huấn luyện riêng và phương pháp ban đầu vừa huấn luyện vừa kết xuất chậm.
Hiểu biết kỹ thuật
NeRF biểu thị một cảnh dưới dạng chức năng 5D liên tục: nhập một vị trí (x, y, z) cộng với hướng xem (hai góc) và MLP trả về mật độ âm lượng và màu RGB. Một chi tiết quan trọng là mã hóa vị trí, ánh xạ tọa độ thông qua các hàm sin và cos tần số cao để mạng có thể ghi lại chi tiết sắc nét thay vì tạo ra đầu ra mờ. Kết xuất tích hợp màu sắc và mật độ dọc theo từng tia camera, tạo trọng lượng cho các mẫu gần hơn, nhiều mẫu mờ hơn, chính xác là phép toán của kết xuất khối cổ điển có thể đào tạo được.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của trường bức xạ thần kinh
Nghiên cứu NeRF bùng nổ sau năm 2020, với các phần tiếp theo như đào tạo cắt Instant-NGP từ vài giờ xuống vài giây bằng cách sử dụng mã hóa lưới băm và Mip-NeRF cải thiện chất lượng trên nhiều quy mô. Lĩnh vực này ngày càng hợp nhất hoặc bị thách thức bởi Gaussian Splatting, công nghệ này hiển thị nhanh hơn. Mong đợi các kỹ thuật có nguồn gốc từ NeRF trong lập bản đồ, chế độ xem sản phẩm thương mại điện tử, hiệu ứng hình ảnh phim và AR/VR, cùng với sự phát triển của NeRF động có khả năng xử lý các cảnh chuyển động và ảnh chụp "trong tự nhiên" với ánh sáng thay đổi. Các chủ đề lớn là tốc độ, khả năng chỉnh sửa và chụp cảnh từ ít bức ảnh lộn xộn hơn.
Triển khai trong thế giới thực
Biến video điện thoại của một vật thể thành chế độ xem 3D, bạn có thể quay quanh để mua sắm trực tuyến
Tái tạo các địa điểm thực làm phông nền chân thực cho phim và hiệu ứng hình ảnh
Xây dựng cảnh 3D sống động cho trải nghiệm thực tế ảo và tăng cường
Bảo tồn kỹ thuật số các di sản văn hóa, hiện vật từ bộ ảnh
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Trường bức xạ Mip-NeRF và khử răng cưa
Câu hỏi thường gặp
Trường bức xạ thần kinh là gì?
Trường bức xạ thần kinh (NeRF) tái tạo lại cảnh 3D đầy đủ từ một số ảnh thông thường, cho phép bạn điều khiển máy ảnh đến các góc nhìn hoàn toàn mới. Nó định hình lại việc chụp 3D giống như việc đào tạo một mạng lưới thần kinh nhỏ hơn là xây dựng một mạng lưới.
Mục tiêu chính của Trường bức xạ thần kinh là gì?
NeRF xây dựng bản trình bày 3D từ một tập hợp các hình ảnh, cho phép hiển thị quang học từ các góc nhìn không có trong ảnh gốc.
Đầu ra mạng thần kinh NeRF cho một đầu vào nhất định là gì?
Đối với vị trí và hướng xem 3D, MLP trả về màu sắc và mật độ (độ mờ) tại điểm đó.
Đầu vào cho chức năng 5D của NeRF là gì?
NeRF lấy vị trí 3D (x, y, z) và hướng xem (hai góc), tổng cộng năm đầu vào.
NeRF làm cách nào để biến kết quả đầu ra mạng của nó thành màu pixel cuối cùng?
Các mẫu NeRF trỏ dọc theo mỗi tia và tích hợp màu sắc của chúng được tính theo mật độ, phương trình kết xuất khối cổ điển được tạo ra có khả năng phân biệt.
Tại sao NeRF sử dụng mã hóa vị trí trên tọa độ đầu vào?
Ánh xạ tọa độ thông qua các hàm sin/cosine tần số cao cho phép MLP thể hiện chi tiết tốt thay vì kết quả bị mờ.