Tontu ci laaj ak tontu
Tontu ci Laaj yi ñuy Gis (VQA) dafay may sistem bi mu tontu ci laaj yi ci làkk wi ñuy wax ci benn nataal, lu ci melni ' Ñaata nit ñoo sol mbaxna?' Dafay laaj nga bokk xam nataal bi ak laaj bi ngir mëna tontu ci anam wu jaar yoon.
Plongeur bu xóot
Tontu laaj ci gis-gis dafay boole gis-gis ordinatër ak jëfandikoo làkk wiñ nàmp: ñu jox ko nataal ak laaj, model bi dafay tontu, mën nekk benn baat, ab mbind bu gàtt, wala tontu waaw/déedet. Liggéey bi dafa siiw ci VQA dataset (Antol et al., 2015) ak VQA v2.0 biñ setal, bi tontu yu ekilibre ngir tere model yi xalaat ci bind kese. Sistem yi dañuy kode nataal bi ak laaj bi, boole ñaari gis-gis yi, ba noppi ñu wax luy tontu, ci taarix, ñu xaaj ko ci vocabulaire bu am tontu bu takku. Tay, xeetu làkki gis-gis yu mag yu melni GPT-4V, LLaVA, ak PaLI dañuy jëfandikoo VQA bu ubbeeku, xalaat ci mbir, màndarga, lim, diggante barab, ba ci bind yuñ bind ci biir nataal.
Gis-gis xarala
Benn xeetu VQA buñ miin dafay kode nataal bi (CNN wala transformatëru gis-gis) ak laaj bi (enkodeer bind transformatër), ba noppi boole leen, lu bari ci cross-attention suko defee baat laaj yi topp goxu nataal yi. Vecteur biñ boole dafay dundal benn classifier ci kaw tontu yu bari wala decodeur làkk ngir tontu yu ubbeeku. Benn fiir buñu xamee mooy làkk wiñ wax: model yi mën nañu jëfandikoo lim yi tontu te baña bàyyi xel ci nataal bi, te loolu dafay tekki ni VQA v2.0 dafay baax.
njeextalu pexe
Gaawaay ak yaatuwaay
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal.
Tabax tànneef
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo.
Ekip ak def liggéey
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey.
Ëlëgu tontu laaj ak gis-gis
VQA mingi joge ci xaaj tontu yu gàtt dem ci xalaat bu ubbeeku, jéego yu bari ak ay leeral. Xaarandil jëfandikoo bu gëna am doole ci lim, diagram, diagram, ak bind-ci-nataal (dokimaa VQA), boole ci wideo VQA buy sabab ci diir bi. Wàññi njuumte ci gaawaay ak xalaat lu jaarul yoon mooy gëna am solo, ni ko tontu ci suuf ci gox nataal yiñ tànn ngir wóolu. Assistant multimodal yu am kàttan dina ñu gëna tontu laaj yi ñuy gis ci waxtaan ci telefon, ci robotik, ak ci jumtukaayi jëfandikoo giy jàppale jëfandikukat yi ñu laaj li leen wër.
Doxal ci àdduna dëgg
Bayyi jëfandikukat yu silmaxa yi ñu foto benn produit ba noppi laaj 'Ban cafka la lii?' wala 'Ban bis lay jeex?'
Tontu laaj yi jëm ci tablo yi, formileer yi, ak këyitu skane (dokimaa VQA) ci biir liggéey
Jappalekatu jaaykaayu detaay ak e-commerce yuy tontu 'Ndax vest bi amna cagoule?' ci nataalu produit
Jàppale jàngat nataali medsin wala gëstukat ci tontu laaj yiñ tëral ci wàllu scanner wala nataali mikroskoop
Risk yi ak balustrade yi
Yelleefi nataal ak nangu mën na nekk risku yoon sudee fi ñu bawoo leerul.
Performance model bi mën na wuute ci leeraay bi, demographie bi ak environmaa bi.
Njuumteg positive yi mën nañu dem te kenn duko seetlu fileek xool wuñu buntu wóolu sa bopp.
Roadmap ngir samp gi
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo.
Weyal di banneexu
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Visual Question Answering quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Gis bi ci topp
Tontu ci laaj
Laaj yi ñuy faral di laaj
What is Visual Question Answering?
Tontu ci Laaj yi ñuy Gis (VQA) dafay may sistem bi mu tontu ci laaj yi ci làkk wi ñuy wax ci benn nataal, lu ci melni ' Ñaata nit ñoo sol mbaxna?' Dafay laaj nga bokk xam nataal bi ak laaj bi ngir mëna tontu ci anam wu jaar yoon.
Yan ñaari mbir la sistemu tontu laaj yi ñuy gis di jël?
VQA dafay jël benn nataal ak benn laaj ci moom, ba noppi defar tontu bu lalu ci nataal bi.
Lu tax ñu sos VQA v2.0 dataset ak tontu yu 'équilibré'?
VQA v2.0 dafay boole laaj ak nataal yu am tontu yu wuute, di forse model yi ñu jëfandikoo li ñuy gis moo gën ñu jëfandikoo lim yi ci bind.
Luy 'njaaxaanaay ci làkk' ci VQA?
Teg sa bopp ci làkk mooy su model bi di jëfandikoo lim yi tontu ci laaj bi, moo gën xool nataal bi.
naka la xeetu VQA yu bari di boolee nataal ak leerali laaj?
Modèle VQA yi dañuy kode modalité bu nekk ba noppi boole leen, ñuy faral di jëfandikoo cross-attention suko defee baat laaj yi jëm ci gox yi am solo ci nataal yi.
Sistem VQA yu yàgg yi dañu daan faral di joxe tontu ci def lan?
Royuwaayi VQA yu bari yu njëkk ya dañu jàppee liggéey bi ni xaaj ci kaw tontu yi gëna bari, waaye royuwaayi leegi dañuy defar mbind yu ubbeeku.