Ihe owuwu ihe owuwu bottleneck
Ihe owuwu ihe nkedo ọkpọkọ na-amanye data site na oyi akwa etiti dị warara tupu ịgbasa ya ọzọ, na-amanye netwọk ahụ ịmụta kọmpat na ngosipụta dị mma.
Nchịkọta
It is a core trick for building very deep, fast models without exploding compute.
Ime miri emi
Bottleneck na-echepụta ụma na-ebugharị ozi site na 'ntụpọ pinch' dị ala. Na ResNet, ngọngọ ọkpọ na-eji 1x1 convolution iji belata ọwa (sị 256 ruo 64), ntụgharị 3 × 3 nke na-arụ ọrụ oghere dị arọ na ọnụ ala na ọwa belata, yana mgbagha 1x1 ọzọ iji weghachi ọnụọgụ ọwa. Sanwichi a na-ebelata ọnụ ahịa mmụba-agbakwunye nke oyi akwa 3 × 3 dị oke ọnụ, na-ahapụ ka netwọkụ dịrị ọkwa 50, 101, ma ọ bụ 152 n'ụzọ dị ọnụ ala. Otu ụkpụrụ ahụ na-enye ike autoencoders, ebe koodu nzuzo dị warara na-amanye mkpakọ, yana mgbanaka agbagharị na MobileNetV2, ebe netwọk na-agbasawanye mgbe ahụ nkwekọrịta. Echiche nke na-ejikọta ọnụ: ịmachi akụkụ n'ebe a họọrọ na-arụpụta arụmọrụ, nhazigharị na njirimara ndị ọzọ nwere ike iji mee ihe.
Nghọta nka nka
Nchekwa ahụ na-abịa site n'ịrụ ọrụ dị oke ọnụ na mpaghara ala dị ala. A 3x3 conv n'elu 256 ọwa na-akwụ ụgwọ ~ 9x256x256 ịba ụba-na-agbakwụnye kwa n'ọkwa oghere; ibelata na ọwa 64 na-ebu ụzọ bepụ nke ahụ na ~ 9x64x64, yana amụma nhazi ọkwa 1x1 dị ọnụ ala. N'ime autoencoders, akụkụ nke karama ahụ na-edobe ole ntinye a ga-agbanyerịrị, na-arụ ọrụ dị ka ụlọ ozi nke ihe ngbanwe ga-esi wughachi ya.
Mmetụta atụmatụ
Ọnụ ego na mmefu ego
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi doro anya
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Quality akara
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Ọdịnihu nke ihe owuwu ụlọ Bottleneck
Echiche Bottleneck bụ ebe niile na AI nke ọma. Mkpịsị aka ndị fọdụrụ na-agbanwe agbanwe na-achịkwa ọhụụ mkpanaka, obere obere obere akpa na-akwado ihe nkwụnye LoRA nke na-eme ka ụdị asụsụ dị mma dị ọnụ ala, yana nlebara anya (dị ka ihe nleba anya nke Perceiver) na-akwụ ụgwọ quadratic. Na-atụ anya ka a na-aga n'ihu ka ụdị na-etolite: ụzọ dị ọnụ ala iji gbakwunye ikike na-abụkarị ịgbasa obere oge na tuo ebe ọzọ, na usoro ndị na-arụ ọrụ nke ọma ga-anọgide na-erigbu isi ntụtụ dị ala.
Mmejuputa n'ezie n'ụwa
ResNet-50/101/152 na-eji 1x1-3x3-1x1 blockneck blocks iji zụọ narị narị ọkwa nke ọma maka nhazi onyonyo.
Mpempe mkpọ mpụta nke MobileNetV2 tụgharịrị na-eme ka ọhụhụ dị adị na ekwentị na ibe agbakwunyere.
Autoencoders na ụdị autoencoders dị iche iche na-eji obere obere mkpọchi dị warara iji chịkọta onyonyo maka ịkatọ na ịchọpụta ihe adịghị mma.
Ndozi nke ọma LoRA na-etinye obere obere karama n'ụdị asụsụ buru ibu ka e wee nwee ike ịmegharị ha site na obere akụkụ nke parampat nwere ike ịzụ.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Bottleneck Architectures quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
AI Cloud Architecture
Ajụjụ a na-ajụkarị
What is Bottleneck Architectures?
Ihe owuwu ihe nkedo ọkpọkọ na-amanye data site na oyi akwa etiti dị warara tupu ịgbasa ya ọzọ, na-amanye netwọk ahụ ịmụta kọmpat na ngosipụta dị mma. Ọ bụ isi aghụghọ iji wuo ụdị dị omimi, ngwa ngwa na-enweghị mgbako agbawa.
N'ime ngọngọ ọkpọ ResNet, kedu ọrụ nke mgbagha 1x1 mbụ?
Onye na-eduga 1x1 conv na-ebelata ọnụọgụ ọwa ka conv dị ọnụ ahịa 3 × 3 na-agba ọsọ n'ọnụ ala dị ọnụ ala, belatara.
Kedu ihe kpatara ọkpọ ọkpọ ji eme netwọk miri emi dị ọnụ ala iji gbakọọ?
Site na ibelata nha nke mbụ, mgbagha 3 × 3 dị arọ na-arụ ọrụ na ọwa pere mpe, na-ebelata ọnụ ahịa ịba ụba.
MobileNetV2 na-eji ụdị dị iche iche nke echiche bottleneck?
MobileNetV2 na-eji conv 1x1 na-agbasa ọwa, na-arụ ọrụ gbasara mbara ala miri emi, wee na-arụ ọrụ nkwekọrịta, nkwụghachi azụ azụ azụ.
Kedu ka LoRA si etinye ụkpụrụ nkpu n'ụdị asụsụ buru ibu?
LoRA na-anọchite anya mmelite ibu dị ka ngwaahịa nke obere matrices abụọ dị ala, obere olu na-ebelata nke ukwuu nke nwere ike inye ọzụzụ.
Otu ngọngọ ResNet a na-ahụkarị na-esote ụkpụrụ ọwa?
Ọ na-ebelata ọwa na 1x1, usoro na 3x3, wee weghachite ọwa na 1x1 ọzọ.