Awọn faaji Bottleneck
Itumọ ile-igo igo kan npa data nipasẹ ipele agbedemeji dín ṣaaju ki o to pọ si lẹẹkansi, ti o fi ipa mu nẹtiwọọki lati kọ ẹkọ iwapọ, awọn aṣoju daradara.
Akopọ
It is a core trick for building very deep, fast models without exploding compute.
Jin Dive
Bottleneck ṣe apẹrẹ imomose ipa alaye nipasẹ iwọn-kekere 'ojuami pinch'. Ni ResNet, bulọọki igo kan nlo iyipada 1x1 lati dinku awọn ikanni (sọ 256 si 64), iyipada 3x3 kan ti o ṣe iṣẹ aye ti o wuwo ni idiyele lori awọn ikanni ti o dinku, ati iyipada 1x1 miiran lati mu pada kika ikanni naa. Sandwich yii dinku iye owo isodipupo ti Layer 3x3 ti o gbowolori, jẹ ki awọn nẹtiwọọki ṣe iwọn si 50, 101, tabi awọn ipele 152 ni ifarada. Ilana kanna ni agbara autoencoders, nibiti koodu wiwaba dín fi agbara mu funmorawon, ati inverted bottlenecks ni MobileNetV2, ibi ti awọn nẹtiwọki gbooro ki o si siwe. Èrò ìṣọ̀kan: dídín ìwọ̀n-ọ̀kan ní ibi tí a yàn ń yọrí sí ìṣiṣẹ́gbòdì, ìṣètò déédéé, àti àwọn àfidámọ̀ àtúnlò.
Imọ-imọ-ẹrọ
Awọn ifowopamọ wa lati ṣiṣe awọn iṣẹ ṣiṣe gbowolori ni aaye abẹlẹ ti o dinku. 3x3 conv lori awọn ikanni 256 awọn idiyele ~ 9x256x256 isodipupo-ṣe afikun fun ipo aye; idinku si awọn ikanni 64 ni akọkọ ge iyẹn si ~ 9x64x64, pẹlu olowo poku awọn ipele 1x1 mimu asọtẹlẹ. Ni autoencoders, iwọn igo naa ṣeto iye ti titẹ sii gbọdọ jẹ fisinuirindigbindigbin, ṣiṣe bi aja alaye ti oluyipada gbọdọ tun ṣe lati.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Bottleneck Architectures
Bottleneck ero wa nibi gbogbo ni daradara AI. Inverted péye bottlenecks gaba lori mobile iran, kekere-ipo bottlenecks underpin LoRA alamuuṣẹ ti itanran-tune omiran ede si dede cheaply, ati akiyesi bottlenecks (bi awọn Perceiver ká wiwaba orun) tame kuadiratiki owo. Reti lilo ilọsiwaju bi awọn awoṣe ti ndagba: ọna ti o rọrun julọ lati ṣafikun agbara nigbagbogbo ni lati gbooro ni ṣoki ati fun pọ ni ibomiiran, ati awọn ọna ṣiṣe-daradara yoo tẹsiwaju ni ilokulo awọn aaye fun pọ ni ipo kekere.
Real-World imuse
ResNet-50/101/152 lo awọn bulọọki igo 1x1-3x3-1x1 lati kọ awọn ọgọọgọrun awọn fẹlẹfẹlẹ daradara fun isọdi aworan.
MobileNetV2 ká inverted iṣẹku bottlenecks jeki gidi-akoko iran lori awọn foonu ati ifibọ awọn eerun.
Autoencoders ati iyatọ autoencoders lo ọrùn igo wiwaba dín lati rọpọ awọn aworan fun ṣiṣafihan ati wiwa anomaly.
Titun-itunse LoRA nfi igo kekere kan sinu awọn awoṣe ede nla ki wọn le ṣe deede pẹlu ida kekere ti awọn aye ikẹkọ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Bottleneck Architectures quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
AI awọsanma Architecture
Awọn ibeere ti a beere nigbagbogbo
What is Bottleneck Architectures?
Itumọ ile-igo igo kan npa data nipasẹ ipele agbedemeji dín ṣaaju ki o to pọ si lẹẹkansi, ti o fi ipa mu nẹtiwọọki lati kọ ẹkọ iwapọ, awọn aṣoju daradara. O jẹ ẹtan mojuto fun kikọ ti o jinlẹ pupọ, awọn awoṣe iyara laisi iṣiro gbamu.
Ninu bulọọki igo ResNet kan, kini ipa ti convolution 1x1 akọkọ?
Asiwaju 1x1 conv n dinku kika ikanni nitori idiyele idiyele 3x3 conv nṣiṣẹ ni din owo, subspace ti o dinku.
Kini idi ti igo kan jẹ ki awọn nẹtiwọọki ti o jinlẹ din owo lati ṣe iṣiro?
Nipa idinku iwọn iwọn ni akọkọ, iṣọpọ 3x3 ti o wuwo n ṣiṣẹ lori awọn ikanni ti o kere ju, gige iye owo isodipupo-afikun.
MobileNetV2 nlo iyatọ wo ti imọran igo?
MobileNetV2 faagun awọn ikanni pẹlu conv 1x1 kan, n ṣe iṣẹ aye ti o jinlẹ, lẹhinna awọn adehun, ọrun igo to ku ti o yipada.
Bawo ni LoRA ṣe lo awọn ilana igo si awọn awoṣe ede nla?
LoRA ṣe aṣoju awọn imudojuiwọn iwuwo bi ọja ti awọn matiri kekere ipo kekere meji, ọrùn igo kan ti o dinku awọn aye ti ikẹkọ ni pataki.
A aṣoju ResNet bottleneck Àkọsílẹ wọnyi eyi ti ikanni Àpẹẹrẹ?
O dinku awọn ikanni pẹlu 1x1, awọn ilana pẹlu 3x3, lẹhinna mu awọn ikanni pada pẹlu 1x1 miiran.