СледваСледващо ръководство
Дълбокоразделими извивки
технически
РЪКОВОДСТВО за визуален AI
Деформируеми извивки
Деформируемите навивки позволяват на невронната мрежа да огъне своята решетка за вземане на проби, за да следва действителната форма на обектите, вместо да я прокара през твърд квадратен прозорец.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
This makes models far better at handling odd shapes, scale changes, and geometric distortion.
Дълбоко гмуркане
Нормалната конволюция взема проби от пиксели при фиксирани отмествания — подредена решетка 3x3, центрирана на всяко място. Това работи добре за текстури, но се затруднява, когато обектите са наклонени, разтегнати или със странна форма. Деформируемите навивки, въведени от Dai и колеги от Microsoft Research през 2017 г., добавят малко научено отместване към всяка от тези точки за вземане на проби. Мрежата разглежда входа и прогнозира 2D изместване за всяка позиция на мрежата, така че възприемащото поле може да се изкриви, за да прегърне извит ръб или да следва наклонен крайник. Обединяването на деформируемата ROI прилага същата идея към характеристиките на региона. Версия 2 (2018) добави тегла на модулация на точка, позволявайки на слоя да смекчи или усили всяка проба, което повиши точността на откриване на обекти при бенчмаркове като COCO.
Внедряване в реалния свят
Откриване на обекти на COCO, където деформируемите слоеве повишават точността на удължени или завъртяни обекти като влакове и жирафи
Семантично сегментиране на улични сцени, помагащо на моделите да проследят извити маркировки на платна и неправилни очертания на сгради
Деформируем DETR за откриване от край до край, използвайки научени отмествания, за да направи вниманието на трансформатора ефективно
Медицинско изображение, при което туморите и органите имат нетвърди форми, които фиксираните решетки улавят лошо
Бъдещето на деформируемите извивки
Деформируемото внимание се е превърнало в гръбнака на съвременното откриване: Деформируемият DETR използва научени отмествания на семплиране, за да направи вниманието на трансформатора рядко и бързо, намалявайки драстично времето за обучение в сравнение с оригиналния DETR. Очаквайте деформируемият принцип да продължи да се разпространява във видео, 3D облаци от точки и модели на визуален език, където адаптивното вземане на проби помага да се справят с движението, оклузията и неправилната геометрия. Тъй като хардуерната поддръжка за нередовен достъп до паметта се подобрява, деформируемите оператори също трябва да станат по-евтини и по-широко разгърнати на крайни устройства.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
- Избор на билдове. Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
- Екип и работен процес. Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Внимавайте за
- Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
- Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
- Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Следващи стъпки
- Определете критерии за приемане за прецизност, извикване и разходи за грешки.
- Тествайте с данни, които съответстват на реалните производствени условия.
- Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
- Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Deformable Convolutions quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Deformable Convolutions?
Деформируемите навивки позволяват на невронната мрежа да огъне своята решетка за вземане на проби, за да следва действителната форма на обектите, вместо да я прокара през твърд квадратен прозорец. Това прави моделите много по-добри при справяне със странни форми, промени в мащаба и геометрични изкривявания.
Какво добавя деформируемата намотка в сравнение със стандартната намотка?
Деформируемите навивки предвиждат научено отместване (dx, dy) за всяко място за вземане на проби, позволявайки на решетката да се изкриви, за да съответства на формите на обекта.
Как се генерират отместванията на вземане на проби в деформируема намотка?
Паралелен конволюционен клон извежда отместванията, които се научават от край до край чрез обратно разпространение.
Тъй като предвидените отмествания обикновено са дробни, как се вземат проби от стойностите на пикселите на тези позиции?
Дробните отмествания изискват билинейна интерполация, която поддържа операцията диференцируема за обучение.
Какво добави Deformable ConvNets v2 (2018) към оригинала?
v2 въведе модулация, научено тегло на точка на вземане на проби, което може да усили или потисне влиянието си, подобрявайки точността.
Защо деформируемите извивки са особено полезни за обекти с неправилна форма?
Чрез огъване на решетката за вземане на проби ефективното рецептивно поле се изравнява с геометрията на обекта вместо с твърд квадрат.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема