Visual AI Itọsọna

Awọn koodu ti ko boju mu

Masked Autoencoders (MAE) jẹ ọna abojuto ti ara ẹni ti o nkọ awoṣe iran lati tun awọn aworan ṣe lẹhin pupọ julọ aworan naa ti farapamọ.

Akopọ

Masked Autoencoders (MAE) jẹ ọna abojuto ti ara ẹni ti o nkọ awoṣe iran lati tun awọn aworan ṣe lẹhin pupọ julọ aworan naa ti farapamọ. Nipa kikọ ẹkọ lati kun awọn ṣofo, awoṣe naa kọ oye wiwo ọlọrọ laisi awọn aami eniyan eyikeyi.

Awọn olutọpa Autoencoders jẹ ti awọn ṣiṣan iṣẹ-iriran kọnputa ti o tumọ tabi ṣe ipilẹṣẹ media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda.

Jin Dive

Masked Autoencoders, ti a ṣe nipasẹ Kaiming He ati awọn alabaṣiṣẹpọ ni Meta AI ni 2021, ya aworan kan, pin si awọn abulẹ kekere, ki o tọju ida kan ti o tobi pupọ ninu wọn laileto, nigbagbogbo 75%. Ayipada Amunawa iran kan ṣe ilana awọn abulẹ ti o han nikan, lakoko ti oluyipada iwuwo fẹẹrẹ gbiyanju lati tun awọn piksẹli atilẹba ti awọn ti o padanu. Nitoripe pupọ ti farapamọ, awoṣe ko le daakọ awọn piksẹli to wa nitosi ati pe o gbọdọ kọ ẹkọ eto ti o nilari, bii awọn apẹrẹ ati awọn ẹya nkan. Awọn koodu fifipamọ awọn abulẹ ti o boju mu ki ikẹkọ yarayara ati iranti daradara. Lẹhin ikẹkọ iṣaaju, oluyipada naa jẹ asonu ati pe koodu koodu gbe ni agbara si isọdi, wiwa, ati awọn iṣẹ ṣiṣe ipin.

Imọ-imọ-ẹrọ

Ẹtan bọtini jẹ asymmetry: koodu koodu ti o wuwo n rii nikan 25% ti a ko tii ti awọn abulẹ, lakoko ti ẹrọ iyipada kekere tun ṣe iyoku. Awọn abulẹ ti wa ni pẹlẹbẹ, ti a fi sii laini, ati fifun awọn koodu ipo ipo. Pipadanu atunkọ jẹ iṣiro aṣiṣe onigun mẹrin ti a ṣe iṣiro nikan lori awọn abulẹ ti o boju, ni igbagbogbo lori awọn iye ẹbun deede. Awọn ipin iboju iparada giga fi agbara mu ẹkọ atunmọ dipo isọdi ipele kekere, ati fo awọn ami ti o boju-boju ni awọn gige koodu koodu ṣe iṣiro bosipo dipo ṣiṣiṣẹ aworan ni kikun.

Mastering Masked Autoencoders

Masked Autoencoders (MAE) jẹ ọna abojuto ti ara ẹni ti o nkọ awoṣe iran lati tun awọn aworan ṣe lẹhin pupọ julọ aworan naa ti farapamọ. Nipa kikọ ẹkọ lati kun awọn ṣofo, awoṣe naa kọ oye wiwo ọlọrọ laisi awọn aami eniyan eyikeyi. Awọn olutọpa Autoencoders jẹ ti awọn ṣiṣan iṣẹ-iriran kọnputa ti o tumọ tabi ṣe ipilẹṣẹ media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda. Lati kọ oye ti o jinlẹ, ṣe itọju Awọn olutọpa Autoencoders bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati lọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.

Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo iwọntunwọnsi iṣojuuwọn Autoencoders Masked pẹlu awọn otitọ iṣẹ ṣiṣe bii didara data, iyatọ ina, ati isamisi aitasera. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni akoko kanna, Awọn ẹtọ aworan ati ifọkansi le di awọn eewu labẹ ofin ti o ba jẹ afihan. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.

Ipa Ilana

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Ojo iwaju ti awọn boju-boju Autoencoders

Atunkọ boju-boju ara MAE ti n di ohunelo iṣaju iṣaju aiyipada kọja awọn ilana. Awọn oniwadi n fa siwaju si fidio (fifipamọ awọn cubes akoko aaye), awọn iwoye ohun afetigbọ, awọn ọlọjẹ iṣoogun, ati aworan satẹlaiti, nibiti awọn aami ti ṣọwọn ati gbowolori. Reti idapọ ju pẹlu ede fun awọn awoṣe ipilẹ multimodal, awọn decoders daradara diẹ sii, ati iboju iparada ti o fojusi awọn agbegbe alaye. Bi iṣiro ṣe n dagba, ikẹkọ ti ko boju mu lori awọn ikojọpọ aworan ti ko ni aami yẹ ki o tẹsiwaju ilọsiwaju deede ni isalẹ lakoko ti o dinku igbẹkẹle lori asọye eniyan ti o niyelori.

Real-World imuse

Ṣiṣe ikẹkọ Ayipada Iran kan lori awọn miliọnu awọn fọto ti ko ni aami, lẹhinna yiyi-daradara fun isọdi ImageNet pẹlu deede to lagbara

Awọn ẹya ikẹkọ lati awọn ọlọjẹ iṣoogun ti ko ni aami (awọn egungun X-ray, MRIs) nibiti asọye amoye ti gbowolori ati ni opin

Didara ọna si fidio nipasẹ bojuboju awọn abulẹ akoko aaye lati ṣaju awọn awoṣe ṣiṣe-idanimọ (VideoMAE)

Ikẹkọ tẹlẹ lori satẹlaiti ati aworan eriali lati ṣe atilẹyin aworan agbaye-lilo ati wiwa wiwa laisi awọn aami afọwọṣe

Awọn Ilana imuse

Bojuto Autoencoders ni iwa

Ṣiṣe ikẹkọ Amunawa Iran kan lori awọn miliọnu awọn fọto ti ko ni aami, lẹhinna yiyi pada dara fun ipinya ImageNet pẹlu iṣedede to lagbara.

Pretraining Transformer Iran kan lori awọn miliọnu awọn fọto ti ko ni aami, lẹhinna yiyi-fifẹ rẹ fun iyasọtọ ImageNet pẹlu iṣedede to lagbara Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.

Bojuto Autoencoders ni iwa

Awọn ẹya ikẹkọ lati awọn iwoye iṣoogun ti ko ni aami (awọn egungun X, MRIs) nibiti asọye amoye ti gbowolori ati lopin.

Awọn ẹya ẹkọ lati awọn iwoye iṣoogun ti ko ni aami (awọn egungun X, MRIs) nibiti asọye iwé jẹ gbowolori ati awọn ẹgbẹ to lopin nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodiwọn didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.

Bojuto Autoencoders ni iwa

Didara ọna si fidio nipasẹ bojuboju awọn abulẹ akoko aaye lati ṣaju awọn awoṣe ṣiṣe-idanimọ (VideoMAE).

Yiyipada ọna si fidio nipasẹ boju awọn abulẹ aaye aaye lati ṣaju awọn awoṣe idamọ iṣe (VideoMAE) Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.

Bojuto Autoencoders ni iwa

Ikẹkọ tẹlẹ lori satẹlaiti ati aworan eriali lati ṣe atilẹyin aworan agbaye-lilo ati wiwa wiwa laisi awọn aami afọwọṣe.

Ibẹrẹ ikẹkọ lori satẹlaiti ati aworan eriali lati ṣe atilẹyin maapu lilo ilẹ ati wiwa iyipada laisi awọn aami afọwọṣe Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.

Awọn ewu & Awọn ọna iṣọ

!

Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.

!

Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.

!

Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.

Ilana Ilana imuse

1

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

2

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

3

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

4

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

Tesiwaju Ṣiṣawari