NastępnyNastępny poradnik
Głęboko rozdzielone sploty
Techniczne
PRZEWODNIK Wizualnej AI
Odkształcalne zwoje
Odkształcalne sploty pozwalają sieci neuronowej naginać siatkę próbkowania tak, aby podążała za rzeczywistym kształtem obiektów, zamiast przeciskać je przez sztywne kwadratowe okno.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Dzięki temu modele znacznie lepiej radzą sobie z dziwnymi kształtami, zmianami skali i zniekształceniami geometrycznymi.
Głębokie nurkowanie
Normalny splot próbkuje piksele ze stałymi przesunięciami — uporządkowaną siatkę 3x3 wyśrodkowaną w każdym miejscu. Działa to dobrze w przypadku tekstur, ale sprawia problemy, gdy obiekty są przechylone, rozciągnięte lub mają dziwny kształt. Odkształcalne sploty, wprowadzone przez Dai i współpracowników w Microsoft Research w 2017 r., dodają małe wyuczone przesunięcie do każdego z tych punktów próbkowania. Sieć analizuje dane wejściowe i przewiduje przesunięcie 2D dla każdej pozycji siatki, więc pole odbiorcze może się zakrzywić, aby przylegać do zakrzywionej krawędzi lub podążać za pochyłą kończyną. Odkształcalne łączenie RoI stosuje ten sam pomysł do cech regionu. Wersja 2 (2018) dodała wagi modulacji punktowej, umożliwiając warstwie tłumienie lub wzmacnianie każdej próbki, co zwiększyło dokładność wykrywania obiektów w testach porównawczych takich jak COCO.
Implementacja w świecie rzeczywistym
Wykrywanie obiektów w COCO, gdzie odkształcalne warstwy zwiększają dokładność w przypadku wydłużonych lub obróconych obiektów, takich jak pociągi i żyrafy
Semantyczna segmentacja scen ulicznych, pomagająca modelom śledzić zakrzywione oznaczenia pasów i nieregularne kontury budynków
Odkształcalny DETR do wykrywania od końca do końca, wykorzystujący wyuczone przesunięcia, aby efektywnie skupić uwagę transformatora
Obrazowanie medyczne, w przypadku którego guzy i narządy mają niesztywne kształty, które są słabo wychwytywane przez stałe siatki
Przyszłość odkształcalnych splotów
Odkształcalna uwaga stała się podstawą nowoczesnej detekcji: Deformowalny DETR wykorzystuje wyuczone przesunięcia próbkowania, aby uwaga transformatora była rzadka i szybka, radykalnie skracając czas szkolenia w porównaniu z oryginalnym DETR. Można się spodziewać, że zasada odkształcalności będzie nadal rozprzestrzeniać się na wideo, chmury punktów 3D i modele języka wizyjnego, gdzie próbkowanie adaptacyjne pomaga poradzić sobie z ruchem, okluzją i nieregularną geometrią. W miarę poprawy sprzętowej obsługi nieregularnego dostępu do pamięci operatory odkształcalne powinny również stać się tańsze i szerzej stosowane na urządzeniach brzegowych.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Deformable Convolutions quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to są odkształcalne zwoje?
Odkształcalne sploty pozwalają sieci neuronowej naginać siatkę próbkowania tak, aby podążała za rzeczywistym kształtem obiektów, zamiast przeciskać je przez sztywne kwadratowe okno. Dzięki temu modele znacznie lepiej radzą sobie z dziwnymi kształtami, zmianami skali i zniekształceniami geometrycznymi.
Co dodaje odkształcalny splot w porównaniu do standardowego splotu?
Odkształcalne sploty przewidują wyuczone przesunięcie (dx, dy) dla każdej lokalizacji próbkowania, umożliwiając wypaczenie siatki w celu dopasowania do kształtów obiektu.
W jaki sposób generowane są przesunięcia próbkowania w odkształcalnym splocie?
Równoległa gałąź splotu wyprowadza przesunięcia, których uczy się od końca do końca poprzez propagację wsteczną.
Ponieważ przewidywane przesunięcia są zwykle ułamkowe, w jaki sposób próbkowane są wartości pikseli w tych pozycjach?
Przesunięcia ułamkowe wymagają interpolacji dwuliniowej, dzięki czemu operacja jest różniczkowalna na potrzeby uczenia.
Co dodał Deformable ConvNets v2 (2018) do oryginału?
v2 wprowadziła modulację, wyuczoną wagę na punkt próbkowania, która może wzmocnić lub stłumić jej wpływ, poprawiając dokładność.
Dlaczego odkształcalne zwoje są szczególnie przydatne w przypadku obiektów o nieregularnych kształtach?
Wyginając siatkę próbkującą, efektywne pole recepcyjne wyrównuje się z geometrią obiektu, a nie ze sztywnym kwadratem.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat