Vizuális MI ÚTMUTATÓ

Sztereó mélységbecslés

A sztereó mélységbecslés két, kissé eltolt kameranézet összehasonlításával helyreállítja a dolgok távolságát, akárcsak a két szeme.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A sztereó mélységbecslés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A lapos képeket 3D-s távolságtérképekké alakítja, amelyekre robotok, autók és telefonok támaszkodnak a tér megértéséhez.

Mély merülés

A sztereó mélységbecslés két kamerát használ egymástól rögzített távolságra (az alapvonal). A világ ugyanazon pontja kissé eltérő vízszintes pozícióban landol a bal és a jobb oldali képeken, és ezt az eltolódást diszparitásnak nevezzük. A közeli tárgyak sokat elmozdulnak; a távoliak alig mozdulnak. A mélység kiszámítása (gyújtótávolság x alapvonal) / eltérés, tehát a mélység és az eltérés fordítottan összefügg. A kemény rész a pixelek összeillesztése a két kép között, különösen sima falakon, ismétlődő mintákon vagy olyan tükröződő felületeken, ahol sok pixel azonosnak tűnik. A klasszikus módszerek, mint például a Semi-Global Matching pásztázási vonalak mentén pásztáznak, míg a modern mélyhálózatok, mint például a PSMNet és a RAFT-Stereo, gazdag funkciókat tanulnak meg, és iteratív módon finomítják az egyenlőtlenségeket, sűrű, pontos mélységet hozva létre még a bonyolult régiókban is.

Valós megvalósítás

Az önvezető és vezetőt segítő rendszerek sztereó kamerák segítségével mérik fel a távolságot az autókhoz, a gyalogosokhoz és a járdaszegélyekhez a fékezéshez és a sávtartáshoz.

A raktári és mezőgazdasági robotok 3D-s térképeket készítenek, hogy megragadják a tárgyakat, elkerüljék az akadályokat, és megfelelő mélységben szedjék a gyümölcsöt.

Az AR/VR fejhallgatók, például az átmenő eszközök megbecsülik a helyiség geometriáját, így a virtuális objektumok megfelelően ülnek a valós felületeken.

A Mars-járók (például a Perseverance) sztereó navigációs kamerákat használnak, hogy biztonságos utakat tervezzenek sziklás terepen GPS nélkül.

A sztereó mélységbecslés jövője

A sztereó és a LiDAR, radar és monokuláris jelek szorosabb fúziójára számíthat, így a rendszerek kecsesen leromlanak, ha egy érzékelő meghibásodik. A transzformátor alapú illesztés és az önfelügyelt képzés (a nyers videóból való tanulás az igazság mélysége nélkül) csökkenti a költséges címkézett adatok iránti igényt. Az eszközön belüli hatékonyság gyorsan javul, valós idejű sztereó hangzást tesz lehetővé a drónokon, AR-szemüvegeken és olcsó robotokon. Az eseménykamerák és a tanult aktív minták megbízható mélységet ígérnek még gyenge fényviszonyok mellett is, elmosódást és textúra nélküli jeleneteket, amelyek legyőzik a mai módszereket.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Stereo Depth Estimation quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a sztereó mélységbecslés?

A sztereó mélységbecslés két, kissé eltolt kameranézet összehasonlításával helyreállítja a dolgok távolságát, akárcsak a két szeme. A lapos képeket 3D-s távolságtérképekké alakítja, amelyekre robotok, autók és telefonok támaszkodnak a tér megértéséhez.

Mi az „egyenetlenség” a sztereó látásban?

Az eltérés azt jelenti, hogy a megfelelő pont vízszintesen mennyit mozdul el a két javított nézet között; a nagyobb eltérés azt jelenti, hogy az objektum közelebb van.

Hogyan kapcsolódik a mélység az egyenlőtlenséghez?

Mélység = (gyújtótávolság x alapvonal) / eltérés, tehát az egyenlőtlenség csökkenésével a becsült mélység nő. A távoli objektumok apró eltéréseket mutatnak.

Miért „javítják” a képeket az egyezés előtt?

A helyesbítés mindkét képet megvetemíti, így az egyezések egyetlen vízszintes vonalra korlátozódnak, így a 2D keresés gyors 1D kereséssé válik.

Melyik forgatókönyv a legnehezebb a sztereó illesztéshez?

A textúra nélküli vagy ismétlődő felületek miatt sok pixel azonosnak tűnik, így az algoritmus nem tudja biztosan megtalálni a megfelelő egyezést.

Mire utal az „alapvonal”?

Az alapvonal a két kameraközpont közötti távolság; a szélesebb alapvonal javítja a távoli objektumok pontosságát.