Монокулярна оценка на дълбочината
Монокулярната оценка на дълбочината предсказва колко далеч е всеки пиксел от една обикновена снимка — не е необходима стерео камера, лидар или сензор за дълбочина.
Преглед
It lets one camera perceive 3D structure from a flat 2D image.
Дълбоко гмуркане
Хората могат да преценят дълбочината от едно око, като използват знаци като перспектива, относителен размер, градиенти на текстурата, засенчване и оклузия. Монокулярната оценка на дълбочината учи невронните мрежи на същия трик: подаване на едно RGB изображение и извеждане на стойност на дълбочината за всеки пиксел. Тъй като 2D изображението по своята същност е двусмислено по отношение на абсолютния мащаб, задачата е трудна – много 3D сцени могат да се проектират към една и съща картина. Мрежите научават статистически предишни данни от големи набори от данни, за да разрешат това. Обучението се предлага в два варианта: контролирано, използващо дълбочина на земната истина от лидарни или RGB-D сензори, и самоконтролирано, което научава дълбочината само от видео или стерео двойки, като налага прогнозираната дълбочина да препроектира правилно един изглед в друг. Последните модели на основата като MiDaS и Depth Anything обобщават забележително невиждани сцени.
Техническа информация
Самоконтролираните методи използват геометрия вместо етикети. Като се имат предвид два изгледа (стерео или последователни видеокадри) и прогнозирана карта на дълбочината плюс движение на камерата, моделът изкривява едното изображение, за да реконструира другото; грешката при реконструкцията на ниво пиксел се превръща в сигнал за обучение. Тази загуба на „изглед-синтез“ означава, че дълбочината може да бъде научена от сурово, немаркирано видео. Основно ограничение е двусмислеността на мащаба: монокулярната дълбочина често е правилна само до неизвестен множител, освен ако не е калибрирана спрямо известна референтна или метрична супервизия.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на оценката на монокулярната дълбочина
Основните модели на общата дълбочина, обучени върху милиони смесени изображения, се стремят към надеждна, метрична (в истински мащаб) дълбочина във всяка сцена, дори такива, които никога не са виждани при обучение. Очаквайте по-плътно сливане с оптичен поток и SLAM за пълна реконструкция на 3D сцена, по-леки модели, които работят на живо на телефони и слушалки, и по-силна здравина при нулев изстрел. Това ще направи богатото пространствено възприятие евтино и повсеместно, достъпно от всяка отделна камера, а не от скъпи платформи за измерване на дълбочина.
Внедряване в реалния свят
Портретен режим на смартфон, симулиращ замъгляване на фона (боке) чрез оценка на разстоянието между обекта и фона
Приложения за разширена реалност, поставящи виртуални обекти, така че да стоят правилно зад мебели от реалния свят
Дронове и евтини роботи, избягващи препятствия с помощта на една камера, обърната напред
Преобразуване на 2D снимки и филми в 3D чрез извеждане на дълбочината на пиксел за стереоскопичен дисплей
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Monocular Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Стерео оценка на дълбочината
Frequently asked questions
What is Monocular Depth Estimation?
Монокулярната оценка на дълбочината предсказва колко далеч е всеки пиксел от една обикновена снимка — не е необходима стерео камера, лидар или сензор за дълбочина. Позволява на една камера да възприема 3D структура от плоско 2D изображение.
Какво прави оценката на дълбочината „монокулярна“?
„Монокъл“ означава едно око/камера; методът предвижда дълбочина от едно RGB изображение без стерео или активни сензори за дълбочина.
Защо оценката на монокулярната дълбочина е фундаментално двусмислена?
Единична 2D проекция губи информация за мащаба, така че множество 3D подредби са съвместими с едно изображение; мрежите разчитат на научени предишни моменти, за да разграничат недвусмислието.
Как самоконтролираните методи научават дълбочина без етикети за основна истина?
Използвайки прогнозирана дълбочина и движение на камерата, моделът препроектира едно изображение върху друго; фотометричната грешка доставя сигнала за обучение, не са необходими етикети.
На коя реплика монокулярните мрежи НЕ разчитат директно за дълбочина?
Стерео несъответствието изисква две камери; монокулярните методи разчитат на сигнали за едно изображение като размер, перспектива, текстура и оклузия.
Какво е „неяснота на мащаба“ в монокулярната дълбочина?
Без метричен надзор или известна референция монокулярната дълбочина дава правилна относителна структура, но несигурен абсолютен мащаб.