Iran Ayirapada
Awọn Ayirapada Iran (ViTs) lo faaji transformer ti o ni agbara ChatGPT si awọn aworan, ṣe itọju aworan kan bi ọna ti awọn abulẹ dipo akoj awọn piksẹli.
Akopọ
Wọn fihan pe o ko nilo awọn iyipada lati ṣaṣeyọri idanimọ aworan-ti-aworan.
Jin Dive
Fun awọn ọdun, awọn nẹtiwọọki iṣọn-ẹjẹ (CNNs) jẹ gaba lori iran kọnputa nipa ṣiṣe ọlọjẹ awọn asẹ kekere kọja aworan kan. Iwe 2020 'Aworan kan tọ awọn ọrọ 16x16' lati Google koju eyi nipa gige aworan kan si awọn abulẹ ti o wa titi, ni deede awọn piksẹli 16 × 16, fifẹ ọkọọkan sinu fekito kan, ati fifun ọna abajade sinu transformer boṣewa. Patch kọọkan di 'àmi,' pupọ bi ọrọ kan ninu gbolohun ọrọ kan. Awoṣe lẹhinna lo akiyesi ara ẹni nitoribẹẹ gbogbo alemo le ni ibatan taara si gbogbo alemo miiran, yiya awọn ibatan gigun-gun ti àlẹmọ ariyanjiyan kekere ko le rii ni igbesẹ kan. Apeja naa: Awọn ViT jẹ ebi npa data nitori wọn ko ni awọn arosinu ti a ṣe sinu ti CNNs. Ti ikẹkọ lori awọn ipilẹ data nla bi JFT-300M, wọn baamu tabi lu awọn CNN ti o dara julọ, ti n ṣe atunṣe iwadii iran ode oni.
Imọ-imọ-ẹrọ
ViT kan pin aworan kan si awọn abulẹ ti kii ṣe agbekọja, awọn iṣẹ akanṣe laini kọọkan sinu ifibọ, ati ṣafikun awọn koodu ipo ki awoṣe naa mọ ibiti alemo kọọkan joko ni aworan atilẹba. A pataki learnable 'kilasi àmi' ti wa ni prepended; awọn oniwe-ase oniduro iwakọ classification. Awọn ipele ifarabalẹ ti ara ẹni ti o ni akopọ jẹ ki abulẹ kọọkan wọn alaye lati ọdọ gbogbo awọn miiran, fifun aaye gbigba agbaye lati ipele kan. Nitoripe ifarabalẹ ṣe iwọn igemerin pẹlu nọmba awọn abulẹ, awọn aworan ti o ga-giga di gbowolori, eyiti o jẹ idi ti iwọn alemo ati awọn iyatọ akiyesi daradara ṣe pataki.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Vision Ayirapada
ViTs ati CNN-transformer hybrids ni bayi ni agbara awọn ọna ṣiṣe iran, ati faaji ṣe atilẹyin awọn awoṣe multimodal ti o dapọ awọn aworan pẹlu ọrọ, bii CLIP ati awọn oluranlọwọ ede iran ode oni. Reti iṣẹ ti o tẹsiwaju lori ṣiṣe akiyesi din owo fun ipinnu giga-giga ati fidio, pẹlu iṣaju iṣaju iṣaju ti ara ẹni (gẹgẹbi awoṣe-aworan ti o boju-boju) ti o dinku itunnu data ti o tobi pupọ. Bi iṣiro ṣe n dagba, laini laarin 'awoṣe ede' ati 'awoṣe iran' n tọju didoju, pẹlu awọn oluyipada ti n ṣiṣẹ bi egungun ẹhin pinpin kọja awọn ọna ṣiṣe dipo awọn apẹrẹ amọja lọtọ.
Real-World imuse
Iyasọtọ aworan Google ati awọn ọna ṣiṣe ipo wiwa ti o gba awọn eegun ẹhin transformer lẹhin ti ViT ṣe afihan ifigagbaga pẹlu CNN.
CLIP ati awọn awoṣe ọrọ-aworan miiran ti o lo ViT lati fi koodu pamọ awọn aworan ki awọn fọto ati awọn akọle le baamu ni aaye pinpin
Iwadi aworan iṣoogun nipa lilo awọn ViT lati ṣe iranran awọn ilana kọja gbogbo ọlọjẹ dipo awọn awoara agbegbe nikan
Wiwakọ ti ara ẹni ati awọn akopọ iwoye roboti ti o ṣajọpọ akiyesi ara-ara ViT fun oye iwoye kọja aaye wiwo ni kikun
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Vision Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
CLIP ati Awọn awoṣe Ede Iran
Awọn ibeere ti a beere nigbagbogbo
Kini Awọn Ayirapada Iran?
Awọn Ayirapada Iran (ViTs) lo faaji transformer ti o ni agbara ChatGPT si awọn aworan, ṣe itọju aworan kan bi ọna ti awọn abulẹ dipo akoj awọn piksẹli. Wọn fihan pe o ko nilo awọn iyipada lati ṣaṣeyọri idanimọ aworan-ti-aworan.
Bawo ni Amunawa Iran kan ṣe n ṣe ilana aworan titẹ sii ni ibẹrẹ?
A ViT pin aworan naa si awọn abulẹ ti o wa titi (nigbagbogbo awọn piksẹli 16 × 16), ṣe ifibọ patch kọọkan gẹgẹbi ami-ami kan, ati kikọ sii ọkọọkan sinu transformer.
Ilana bọtini wo ni o jẹ ki ViT ṣe ibatan awọn ẹya ti o jinna ti aworan si ara wọn?
Ifarabalẹ ara ẹni jẹ ki gbogbo patch ṣe iwọn alaye taara lati gbogbo alemo miiran, fifun wiwo agbaye lati ipele akọkọ.
Kini idi ti Awọn Ayirapada Iwoye lasan nilo awọn iwe data ikẹkọ ti o tobi pupọ lati tayọ?
Ko dabi CNNs, ViTs ko ro agbegbe tabi aibikita, nitorinaa wọn gbọdọ kọ ẹkọ awọn ilana wọnyi lati iye data nla.
Kini idi ti awọn fifi koodu ipo ni Amunawa Iran kan?
Ifarabalẹ-ara ẹni jẹ aṣẹ-agnostic, nitorinaa awọn fifi ẹnọ kọ nkan ipo mu pada ipo aye ti alemo kọọkan.
Alaye wo ni o dara julọ ṣe afihan ipa ViT lori iran kọnputa?
ViT ṣe afihan pe oluyipada mimọ, pẹlu data to ati iwọn, le dije tabi kọja awọn nẹtiwọọki ariyanjiyan ti o dara julọ.