Visual AI GUIDE

Ndị ntụgharị ọhụụ

Ọhụụ Transformers (ViTs) na-etinye ihe nrụzigharị mgbanwe nke na-enye ike ChatGPT onyonyo, na-ewere foto dị ka usoro patches kama grid nke pikselụ.

Nchịkọta

Ọhụụ Transformers (ViTs) na-etinye ihe nrụzigharị mgbanwe nke na-enye ike ChatGPT onyonyo, na-ewere foto dị ka usoro patches kama grid nke pikselụ. Ha gosipụtara na ị chọghị mgbanwe iji nweta njirimara onyonyo ọgbara ọhụrụ.

Ọhụụ Transformers bụ nke kọmpụta-ọhụụ workflows na-akọwa ma ọ bụ n'ịwa visual media maka analysis, arụmọrụ, na creativity.

Ime miri emi

Ruo ọtụtụ afọ, netwọkụ akwara ozi (CNNs) na-achịkwa ọhụụ kọmputa site na inyocha obere ihe nzacha n'ofe onyonyo. Akwụkwọ 2020 'Onyinye Kwesịrị Ekwesị Okwu 16 × 16' sitere na Google gbara aka nke a site n'igbuo onyonyo n'ime patches edoziri, dịka pikselụ 16 × 16, na-agbada nke ọ bụla n'ime vector, na inye usoro nke ga-esi na ya pụta ka ọ bụrụ ọkọlọtọ ọkọlọtọ. Ihe nkedo ọ bụla na-aghọ 'token' dị ka okwu dị n'ahịrịokwu. Ihe nlereanya ahụ na-eji nlebara anya nke onwe ya mere kwachie ọ bụla nwere ike jikọta ya na patch ọ bụla ọzọ, na-ewere mmekọrịta dị ogologo, obere nzacha ihe nzacha enweghị ike ịhụ n'otu nzọụkwụ. Ihe nwude: ViT na-agụ agụụ data n'ihi na ha enweghị echiche arụnyere n'ime CNN. A zụrụ azụ na nnukwu dataset dị ka JFT-300M, ha dakọtara ma ọ bụ tie CNN kacha mma, na-emegharị nyocha ọhụụ ọgbara ọhụrụ.

Nghọta nka nka

ViT na-ekewa ihe onyonyo n'ime patches na-adịghị agafe agafe, na-arụ ọrụ n'ahịrị nke ọ bụla n'ime ntinye, ma na-agbakwụnye ntinye ọnọdụ ka ihe nlereanya ahụ mara ebe patch ọ bụla nọdụrụ na foto mbụ. A akwadobere 'klas token' pụrụ iche; Nnọchi anya ikpeazụ ya na-akwalite nhazi ọkwa. N'ígwé nlebara anya onwe onye ekpokọtara ọnụ na-eme ka patch ọ bụla tụọ ozi sitere na ndị ọzọ niile, na-enye ubi nnabata zuru ụwa ọnụ site na oyi akwa. N'ihi na nlebara anya na-arịba n'ụzọ anọ na ọnụ ọgụgụ nke patches, onyonyo ndị nwere mkpebi dị elu na-adị oke ọnụ, nke mere nha patch na nlebara anya nke ọma dị mkpa.

Mastering Vision Transformers

Ọhụụ Transformers (ViTs) na-etinye ihe nrụzigharị mgbanwe nke na-enye ike ChatGPT onyonyo, na-ewere foto dị ka usoro patches kama grid nke pikselụ. Ha gosipụtara na ị chọghị mgbanwe iji nweta njirimara onyonyo ọgbara ọhụrụ. Ọhụụ Transformers bụ nke kọmpụta-ọhụụ workflows na-akọwa ma ọ bụ n'ịwa visual media maka analysis, arụmọrụ, na creativity. Iji wuo nghọta miri emi, na-emeso Vision Transformers dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewapụ ihe usoro ahụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.

Na omume, ndị otu siri ike na-eji Vision Transformers na-edozi izi ezi na eziokwu arụ ọrụ dị ka ogo data, iche iche ọkụ, na ịdekọ aha. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'otu oge ahụ, ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu iwu ma ọ bụrụ na edoghị anya. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.

Mmetụta atụmatụ

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ.

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole.

Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi.

Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọdịnihu nke ndị ntụgharị ọhụụ

ViTs na CNN-transformer hybrids ugbu a na-enwe ike na-eduga usoro ọhụụ, na ụkpụrụ ụlọ na-akwado ụdị multimodal na-ejikọta ihe oyiyi na ederede, dị ka CLIP na ndị na-enyere aka n'asụsụ ọhụụ. Na-atụ anya ka ọrụ na-aga n'ihu na-eme ka nlebara anya dị ọnụ ala maka mkpebi dị elu na vidiyo, gbakwunyere ọzụzụ ọzụzụ onwe onye na-elekọta (dị ka ihe nlegharị anya ihe oyiyi) nke na-ebelata nnukwu agụụ data akpọrọ. Ka compute na-eto eto, ahịrị dị n'etiti 'ụdị asụsụ' na 'ụdị ọhụụ' na-aga n'ihu na-enwu enwu, ebe ndị na-agbanwe agbanwe na-eje ozi dị ka ọkpụkpụ azụ na-agafe n'usoro kama ichewapụta atụmatụ pụrụ iche.

Mmejuputa n'ezie n'ụwa

Nkewa onyonyo Google na sistemu ogo ọchụchọ nke nakweere ọkpụkpụ azụ mgbanwe mgbe ViT gosipụtara asọmpi na CNN.

CLIP na ụdị ederede onyonyo ndị ọzọ na-eji ViT na-etinye ihe onyonyo ka e wee kwekọọ na foto na nkọwa okwu na oghere na-ekekọrịta.

Nnyocha onyonyo ahụike na-eji ViT iji hụ ụkpụrụ n'ofe nyocha niile karịa naanị textures mpaghara

Nleba anya nke ịnya ụgbọ ala na robotics na-ejikọta nlebara anya ụdị ViT maka nghọta ihe nkiri n'ofe nlele niile.

Usoro mmejuputa

Ọhụụ Transformers na omume

Google's nhazi onyonyo yana sistemu ogo ọchụchọ nke nakweere ọkpụkpụ azụ mgbanwe mgbe ViT gosipụtara asọmpi na CNN.

Google's image classification and search ranking systems that were transformer backbows after ViT gosiputara asọmpi na CNNs Otu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.

Ọhụụ Transformers na omume

CLIP na ụdị ederede onyonyo ndị ọzọ na-eji ViT na-etinye ihe onyonyo ka e wee kwekọọ na foto na nkọwa okwu n'ime oghere nkekọrịta.

CLIP na ụdị ederede onyonyo ndị ọzọ nke na-eji ViT na-etinye ihe onyonyo ka enwere ike ijikọ foto na nkọwa okwu na oghere nkekọrịta Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.

Ọhụụ Transformers na omume

Nnyocha onyonyo ahụike na-eji ViT iji hụ ụkpụrụ n'ofe nyocha niile karịa naanị textures mpaghara.

Nnyocha onyonyo ahụike site na iji ViT iji hụ usoro n'ofe nyocha niile kama ịbụ naanị textures mpaghara Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.

Ọhụụ Transformers na omume

Ịnya ụgbọ ala nke onwe na igwe robotics na-ejikọta nlebara anya ụdị ViT maka nghọta ọnọdụ n'ofe ebe nlele zuru oke.

Ịnya ụgbọ ala na nke robotics na-ejikọta nlebara anya ụdị ViT maka nghọta ọnọdụ n'ofe mpaghara nlele zuru oke Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.

Ihe ize ndụ & okporo ụzọ nche

!

Ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu dị n'iwu ma ọ bụrụ na edoghị anya.

!

Ọrụ nlereanya nwere ike ịdịgasị iche n'ofe ọkụ, igwe mmadụ, na gburugburu.

!

Enwere ike ghara ịhụ ihe dị mma ma ọ bụrụ na enyochaghị oke ntụkwasị obi.

Map mmejuputa

1

Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie.

Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

2

Nwalee na data dabara na ọnọdụ mmepụta n'ezie.

Nwalee na data dabara na ọnọdụ mmepụta n'ezie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

3

Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu.

Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

4

Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset.

Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

Nọgide na-eme nchọpụta