Sztereó mélységbecslés
A sztereó mélységbecslés két, kissé eltolt kameranézet összehasonlításával helyreállítja a dolgok távolságát, akárcsak a két szeme.
Áttekintés
It turns flat images into 3D distance maps that robots, cars, and phones rely on to understand space.
Mély merülés
A sztereó mélységbecslés két kamerát használ egymástól rögzített távolságra (az alapvonal). A világ ugyanazon pontja kissé eltérő vízszintes pozícióban landol a bal és a jobb oldali képeken, és ezt az eltolódást diszparitásnak nevezzük. A közeli tárgyak sokat elmozdulnak; a távoliak alig mozdulnak. A mélység kiszámítása (gyújtótávolság x alapvonal) / eltérés, tehát a mélység és az eltérés fordítottan összefügg. A kemény rész a pixelek összeillesztése a két kép között, különösen sima falakon, ismétlődő mintákon vagy olyan tükröződő felületeken, ahol sok pixel azonosnak tűnik. A klasszikus módszerek, mint például a Semi-Global Matching pásztázási vonalak mentén pásztáznak, míg a modern mélyhálózatok, mint például a PSMNet és a RAFT-Stereo, gazdag funkciókat tanulnak meg, és iteratív módon finomítják az egyenlőtlenségeket, sűrű, pontos mélységet hozva létre még a bonyolult régiókban is.
Technikai betekintés
Mindkét képet először kijavítja, így az egyező pontok ugyanabban a vízszintes sorban helyezkednek el, így a keresés egy dimenzióra csökken. A költségmennyiség úgy jön létre, hogy minden egyes pixelre vonatkozóan tesztelik az egyes jelöltek egyenlőtlenségét, és mérik, hogy a bal és a jobb oldali elemek mennyire egyeznek. A hálózatok ezt a kötetet 3D konvolúciókkal vagy ismétlődő frissítésekkel aggregálják, majd a szubpixel pontosság elérése érdekében soft-argmin-t hajtanak végre az eltérések felett. Az eltérés és a mélység közötti fordított kapcsolat azt jelenti, hogy a távoli mélység eredendően zajosabb, mint a közeli mélység.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
A sztereó mélységbecslés jövője
A sztereó és a LiDAR, radar és monokuláris jelek szorosabb fúziójára számíthat, így a rendszerek kecsesen leromlanak, ha egy érzékelő meghibásodik. A transzformátor alapú illesztés és az önfelügyelt képzés (a nyers videóból való tanulás az igazság mélysége nélkül) csökkenti a költséges címkézett adatok iránti igényt. Az eszközön belüli hatékonyság gyorsan javul, valós idejű sztereó hangzást tesz lehetővé a drónokon, AR-szemüvegeken és olcsó robotokon. Az eseménykamerák és a tanult aktív minták megbízható mélységet ígérnek még gyenge fényviszonyok mellett is, elmosódást és textúra nélküli jeleneteket, amelyek legyőzik a mai módszereket.
Valós megvalósítás
Az önvezető és vezetőt segítő rendszerek sztereó kamerák segítségével mérik fel a távolságot az autókhoz, a gyalogosokhoz és a járdaszegélyekhez a fékezéshez és a sávtartáshoz.
A raktári és mezőgazdasági robotok 3D-s térképeket készítenek, hogy megragadják a tárgyakat, elkerüljék az akadályokat, és megfelelő mélységben szedjék a gyümölcsöt.
Az AR/VR fejhallgatók, például az átmenő eszközök megbecsülik a helyiség geometriáját, így a virtuális objektumok megfelelően ülnek a valós felületeken.
A Mars-járók (például a Perseverance) sztereó navigációs kamerákat használnak, hogy biztonságos utakat tervezzenek sziklás terepen GPS nélkül.
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stereo Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Körömvirág diffúziós mélységbecslés
Gyakran ismételt kérdések
What is Stereo Depth Estimation?
A sztereó mélységbecslés két, kissé eltolt kameranézet összehasonlításával helyreállítja a dolgok távolságát, akárcsak a két szeme. A lapos képeket 3D-s távolságtérképekké alakítja, amelyekre robotok, autók és telefonok támaszkodnak a tér megértéséhez.
Mi az „egyenetlenség” a sztereó látásban?
Az eltérés azt jelenti, hogy a megfelelő pont vízszintesen mennyit mozdul el a két javított nézet között; a nagyobb eltérés azt jelenti, hogy az objektum közelebb van.
Hogyan kapcsolódik a mélység az egyenlőtlenséghez?
Mélység = (gyújtótávolság x alapvonal) / eltérés, tehát az egyenlőtlenség csökkenésével a becsült mélység nő. A távoli objektumok apró eltéréseket mutatnak.
Miért „javítják” a képeket az egyezés előtt?
A helyesbítés mindkét képet megvetemíti, így az egyezések egyetlen vízszintes vonalra korlátozódnak, így a 2D keresés gyors 1D kereséssé válik.
Melyik forgatókönyv a legnehezebb a sztereó illesztéshez?
A textúra nélküli vagy ismétlődő felületek miatt sok pixel azonosnak tűnik, így az algoritmus nem tudja biztosan megtalálni a megfelelő egyezést.
Mire utal az „alapvonal”?
Az alapvonal a két kameraközpont közötti távolság; a szélesebb alapvonal javítja a távoli objektumok pontosságát.