Vizuální průvodce AI
Vizuální zodpovězení otázek
Visual Question Answering (VQA) umožňuje systému odpovídat na volně formované otázky o obrázku v přirozeném jazyce, jako například „Kolik lidí nosí klobouky?“ Správná odpověď vyžaduje společné porozumění obrázku i otázce.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Na této stránce2 minuty čtení
Hluboký ponor
Vizuální odpovídání na otázky kombinuje počítačové vidění a zpracování přirozeného jazyka: daný obrázek a otázku model vrátí odpověď, kterou může být jediné slovo, krátká fráze nebo odpověď ano/ne. Úkol byl zpopularizován datovým souborem VQA (Antol et al., 2015) a jeho vylepšenou verzí VQA v2.0, která vyvážila odpovědi na odrazení modelů od hádání pouze z textu. Systémy zakódují obraz a otázku, spojí tyto dvě reprezentace a poté předpovídají odpověď, historicky klasifikací přes pevný slovník odpovědí. Dnes velké modely vizuálního jazyka jako GPT-4V, LLaVA a PaLI zvládají otevřené VQA, uvažování o objektech, atributech, počtech, prostorových vztazích a dokonce i o textu napsaném uvnitř obrázků.
Real-World Implementace
Nechat nevidomé uživatele vyfotografovat produkt a zeptat se „Co je to za příchuť?“ nebo 'Jaké je datum vypršení platnosti?'
Odpovídání na otázky týkající se grafů, formulářů a naskenovaných dokumentů (dokument VQA) v obchodních pracovních postupech
Pohání asistenty maloobchodu a elektronického obchodu, kteří reagují na otázku „Má tato bunda kapuci?“ z fotografie produktu
Podpora lékařského nebo vědeckého hodnocení snímků tím, že budete odpovídat na cílené otázky týkající se skenů nebo mikroskopických snímků
Budoucnost vizuálních odpovědí na otázky
VQA se vyvíjí od klasifikace krátkých odpovědí k otevřenému, vícestupňovému vizuálnímu uvažování s vysvětlením. Očekávejte lepší zpracování počítání, grafů, diagramů a textu v obraze (dokument VQA) plus video VQA, které se časem zdůvodní. Prioritou zůstává omezení zkratové zaujatosti a halucinací, stejně jako uzemnění odpovědí v konkrétních oblastech obrazu pro důvěru. Schopní multimodální asistenti budou stále více odpovídat na vizuální otázky konverzačně na telefonech, v robotice a v nástrojích pro usnadnění, které uživatelům pomáhají vyslýchat jejich okolí.
Uvedení do praxe
Proč na tom záleží
- Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
- Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
- Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.
Pozor na
- Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
- Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
- Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.
Další kroky
- Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
- Testujte s daty, která odpovídají reálným výrobním podmínkám.
- Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
- Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.
Pokračujte v objevování
Newsletter zdarma
Získejte denní přehled o AI
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Take the Visual Question Answering quiz
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Často kladené otázky
What is Visual Question Answering?
Visual Question Answering (VQA) umožňuje systému odpovídat na volně formované otázky o obrázku v přirozeném jazyce, jako například „Kolik lidí nosí klobouky?“ Správná odpověď vyžaduje společné porozumění obrázku i otázce.
Jaké dva vstupy potřebuje systém vizuálních odpovědí na otázky?
VQA pořídí obrázek i otázku o něm a poté vytvoří odpověď založenou na obrázku.
Proč byl datový soubor VQA v2.0 vytvořen s „vyváženými“ odpověďmi?
VQA v2.0 páruje otázky s obrázky, které mají různé odpovědi, což nutí modely skutečně používat vizuální vstup, spíše než využívat textové statistiky.
Co je to „jazyková zaujatost“ ve VQA?
Jazykové zkreslení je, když model využívá statistiky odpovědí spojené s frázováním otázek místo toho, aby se díval na obrázek.
Jak mnoho modelů VQA kombinuje informace o obrázku a otázce?
Modely VQA kódují každou modalitu a spojují je, často využívající křížovou pozornost, takže se dotazovací slova věnují relevantním oblastem obrazu.
Klasické systémy VQA často produkovaly odpovědi tím, že dělaly co?
Mnoho prvních modelů VQA považovalo úkol za klasifikaci nejčastějších odpovědí, ačkoli moderní modely generují text s otevřeným koncem.
Učte se dál
Související průvodci
Pro toto téma bylo vybráno více průvodců