Vizuální průvodce AI

Vizuální zodpovězení otázek

Visual Question Answering (VQA) umožňuje systému odpovídat na volně formované otázky o obrázku v přirozeném jazyce, jako například „Kolik lidí nosí klobouky?“ Správná odpověď vyžaduje společné porozumění obrázku i otázce.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Hluboký ponor
  2. Real-World Implementace
  3. Budoucnost vizuálních odpovědí na otázky
  4. Uvedení do praxe
  5. Pokračujte v objevování
  6. Často kladené otázky

Hluboký ponor

Vizuální odpovídání na otázky kombinuje počítačové vidění a zpracování přirozeného jazyka: daný obrázek a otázku model vrátí odpověď, kterou může být jediné slovo, krátká fráze nebo odpověď ano/ne. Úkol byl zpopularizován datovým souborem VQA (Antol et al., 2015) a jeho vylepšenou verzí VQA v2.0, která vyvážila odpovědi na odrazení modelů od hádání pouze z textu. Systémy zakódují obraz a otázku, spojí tyto dvě reprezentace a poté předpovídají odpověď, historicky klasifikací přes pevný slovník odpovědí. Dnes velké modely vizuálního jazyka jako GPT-4V, LLaVA a PaLI zvládají otevřené VQA, uvažování o objektech, atributech, počtech, prostorových vztazích a dokonce i o textu napsaném uvnitř obrázků.

Real-World Implementace

Nechat nevidomé uživatele vyfotografovat produkt a zeptat se „Co je to za příchuť?“ nebo 'Jaké je datum vypršení platnosti?'

Odpovídání na otázky týkající se grafů, formulářů a naskenovaných dokumentů (dokument VQA) v obchodních pracovních postupech

Pohání asistenty maloobchodu a elektronického obchodu, kteří reagují na otázku „Má tato bunda kapuci?“ z fotografie produktu

Podpora lékařského nebo vědeckého hodnocení snímků tím, že budete odpovídat na cílené otázky týkající se skenů nebo mikroskopických snímků

Budoucnost vizuálních odpovědí na otázky

VQA se vyvíjí od klasifikace krátkých odpovědí k otevřenému, vícestupňovému vizuálnímu uvažování s vysvětlením. Očekávejte lepší zpracování počítání, grafů, diagramů a textu v obraze (dokument VQA) plus video VQA, které se časem zdůvodní. Prioritou zůstává omezení zkratové zaujatosti a halucinací, stejně jako uzemnění odpovědí v konkrétních oblastech obrazu pro důvěru. Schopní multimodální asistenti budou stále více odpovídat na vizuální otázky konverzačně na telefonech, v robotice a v nástrojích pro usnadnění, které uživatelům pomáhají vyslýchat jejich okolí.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
  • Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
  • Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.

Pozor na

  • Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
  • Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
  • Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.

Další kroky

  1. Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
  2. Testujte s daty, která odpovídají reálným výrobním podmínkám.
  3. Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
  4. Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Visual Question Answering quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is Visual Question Answering?

Visual Question Answering (VQA) umožňuje systému odpovídat na volně formované otázky o obrázku v přirozeném jazyce, jako například „Kolik lidí nosí klobouky?“ Správná odpověď vyžaduje společné porozumění obrázku i otázce.

Jaké dva vstupy potřebuje systém vizuálních odpovědí na otázky?

VQA pořídí obrázek i otázku o něm a poté vytvoří odpověď založenou na obrázku.

Proč byl datový soubor VQA v2.0 vytvořen s „vyváženými“ odpověďmi?

VQA v2.0 páruje otázky s obrázky, které mají různé odpovědi, což nutí modely skutečně používat vizuální vstup, spíše než využívat textové statistiky.

Co je to „jazyková zaujatost“ ve VQA?

Jazykové zkreslení je, když model využívá statistiky odpovědí spojené s frázováním otázek místo toho, aby se díval na obrázek.

Jak mnoho modelů VQA kombinuje informace o obrázku a otázce?

Modely VQA kódují každou modalitu a spojují je, často využívající křížovou pozornost, takže se dotazovací slova věnují relevantním oblastem obrazu.

Klasické systémy VQA často produkovaly odpovědi tím, že dělaly co?

Mnoho prvních modelů VQA považovalo úkol za klasifikaci nejčastějších odpovědí, ačkoli moderní modely generují text s otevřeným koncem.