Ifiweranṣẹ Aworan
Ifilelẹ aworan jẹ iṣẹ-ṣiṣe ti ṣiṣẹda laifọwọyi gbolohun ọrọ-ede ti o ṣe apejuwe ohun ti o wa ninu aworan kan.
Akopọ
O ṣe afara iran ati ede, titan awọn piksẹli si awọn ọrọ ti o ṣalaye akoonu, awọn nkan, ati awọn iṣe.
Jin Dive
Awọn eto ifori aworan ya aworan kan ati ki o gbejade apejuwe ti o ni imọran gẹgẹbi 'aja brown ti o mu frisbee kan lori koriko.' Awọn ọna ṣiṣe ni kutukutu so pọ nẹtiwọọki ariyanjiyan ti o fa awọn ẹya wiwo jade pẹlu nẹtiwọọki loorekoore (LSTM kan) ti o ṣe ipilẹṣẹ awọn ọrọ ni ẹyọkan, nigbagbogbo ni itọsọna nipasẹ akiyesi nitorina awoṣe naa 'wo' ni awọn agbegbe to wulo fun ọrọ kọọkan. Awọn ọna ṣiṣe ode oni lo awọn koodu iyipada fun iran ati awọn oluyipada iyipada fun ede, ati awọn awoṣe ede-iriran nla bi BLIP-2 ati GPT-4V le ṣe akole awọn aworan pẹlu oye iyalẹnu. Ikẹkọ da lori awọn ipilẹ data bii MS COCO, nibiti aworan kọọkan ni ọpọlọpọ awọn akọle kikọ eniyan. Didara jẹ iwọn pẹlu awọn metiriki bii CIDer, BLEU, ati CLIPScore ti o da lori ifibọ.
Imọ-imọ-ẹrọ
Pupọ awọn akole n tẹle ilana fifi koodu-decoder kan. Awọn kooduopo ṣe iyipada aworan naa sinu ṣeto ti awọn ẹya ara ẹrọ awọn ẹya ara ẹrọ; decoder n ṣe awọn ọrọ ni aifọwọyi, ṣe asọtẹlẹ ami-ami kọọkan ti o ni ilodi si aworan ati awọn ọrọ ti ipilẹṣẹ tẹlẹ. Ifarabalẹ jẹ ki oluyipada ṣe iwuwo oriṣiriṣi awọn agbegbe aworan fun ọrọ kan, imudara didasilẹ. Ikẹkọ nlo agbelebu-entropy lori awọn akọle-otitọ ilẹ, nigbamiran ti o tẹle pẹlu ẹkọ imuduro ti o mu iwọn-didara didara bi CIDer taara lati dinku aiṣedeede ifihan.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Aworan ifori
Ifọrọwewe jẹ idapọpọ si awọn awoṣe ede-iriran gbogbogbo ti kii ṣe apejuwe nikan ṣugbọn tun dahun awọn ibeere, idi, ati tẹle awọn ilana nipa awọn aworan. Reti denser, awọn akọle iṣakoso diẹ sii (ipari adijositabulu, ara, tabi idojukọ), ipile otitọ ti o dara julọ lati dena awọn nkan ti a sọ di mimọ, ati awọn irinṣẹ iraye si lagbara ti o sọ agbaye wiwo ni akoko gidi. Multilingual ati fidio ifori yoo faagun, ati awọn awoṣe ẹrọ yoo mu ikọkọ, awọn apejuwe lẹsẹkẹsẹ si awọn foonu ati awọn wearables fun afọju ati awọn olumulo iran-kekere.
Real-World imuse
Ṣiṣẹda awọn apejuwe alt-text ti awọn fọto ki awọn oluka iboju le ṣe iranlọwọ fun afọju ati awọn olumulo iran-kekere
Awọn akọle iyanju-laifọwọyi ati awọn aami wiwa fun awọn ile-ikawe fọto nla ati awọn iru ẹrọ aworan-ọja
Ṣapejuwe agbegbe ni ariwo nipasẹ awọn ohun elo bii Microsoft Ri AI tabi Jẹ Oju Mi
Titọka awọn fireemu fidio pẹlu awọn apejuwe ọrọ lati mu wiwa akoonu ṣiṣẹ ati iwọntunwọnsi ni iwọn
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Image Captioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn awoṣe Aworan FLUX
Awọn ibeere ti a beere nigbagbogbo
Kí ni Àwòrán Ìsọrí?
Ifilelẹ aworan jẹ iṣẹ-ṣiṣe ti ṣiṣẹda laifọwọyi gbolohun ọrọ-ede ti o ṣe apejuwe ohun ti o wa ninu aworan kan. O ṣe afara iran ati ede, titan awọn piksẹli si awọn ọrọ ti o ṣalaye akoonu, awọn nkan, ati awọn iṣe.
Kini eto ifori aworan kan gbejade bi o ti njade?
Ifori aworan ṣe ipilẹṣẹ gbolohun ọrọ kan ti n ṣapejuwe awọn akoonu inu aworan kan.
Ninu opo gigun ti akole ti Ayebaye, ipa wo ni kooduopo wiwo ṣe?
Awọn kooduopo (nigbagbogbo CNN tabi oluyipada iran) yi aworan pada si awọn ẹya ara ẹrọ ti oluyipada ede yoo lo.
Kini idi ti akiyesi wulo ni ifori aworan?
Ifarabalẹ ṣe iranlọwọ fun oluyipada koodu 'wo' awọn ẹya ti o wulo julọ ti aworan naa nigbati o ba n ṣẹda ọrọ kọọkan, imudara ilẹ.
Iru data wo ni o lo pupọ fun ikẹkọ ati igbelewọn ifori aworan?
MS COCO n pese awọn aworan kọọkan ni a so pọ pẹlu ọpọ awọn akọle kikọ eniyan, ṣiṣe ni ipilẹ akọle akọle boṣewa.
Kini o tumọ si fun oluyipada akọle lati ṣe ipilẹṣẹ awọn ọrọ 'autoregressively'?
Autoregressive iran nse àmi ọkan ni akoko kan, kọọkan iloniniye lori saju àmi ati awọn aworan.