Mgbasa Transformers
Mgbasa mgbasa ozi (DiTs) na-agbanwe U-Net convolutional na obi nke onyonyo na ndị na-emepụta vidiyo maka ọkpụkpụ azụ Transformer.
Nchịkọta
Mgbasa mgbasa ozi (DiTs) na-agbanwe U-Net convolutional na obi nke onyonyo na ndị na-emepụta vidiyo maka ọkpụkpụ azụ Transformer. Ihe owuwu a na-enye ike na-eduga sistemu dị ka Stable Diffusion 3 na OpenAI's Sora, ọ na-agbakọkwa nke ọma ka ị na-agbakwunye mgbakọ.
Mgbasa mgbasa ozi bụ nke kọmpụta na-arụ ọrụ ọhụụ nke na-akọwa ma ọ bụ na-emepụta mgbasa ozi anya maka nyocha, ọrụ na imepụta ihe.
Ime miri emi
Ụdị mgbasa ozi na-emepụta ihe oyiyi site na ịmalite site na mkpọtụ dị ọcha ma na-eweghachi ya ugboro ugboro ka ọ bụrụ foto dị n'otu. Ruo ọtụtụ afọ, netwọk ahụ na-eme mkpesa ahụ bụ U-Net, ụkpụrụ ụlọ na-agbanwe agbanwe. Ihe ntụgharị mgbasa ozi, nke Peebles na Xie webatara na 2022, jiri ihe ntụgharị dochie U-Net. A na-ebu ụzọ pịnye onyonyo a ka ọ bụrụ oghere zoro ezo, kewaa n'ime obere patches, ma nke ọ bụla na-aghọ akara ngosi, dị ka okwu n'ụdị asụsụ. Onye ngbanwe ahụ na-ahazi akara ngosi ndị a na nlebara anya onwe ya na nzọụkwụ ọ bụla na-emebi iwu. Otu nchọta dị mkpa bụ na arụmọrụ DiT na-akawanye nke ọma ka ị na-abawanye nha ụdị ma na-ebelata nha patch, na-agbaso iwu nchacha dị ọcha. Nke a scalability bụ ihe mere ederede-na-video na elu-njedebe ederede-na-ihe oyiyi usoro na-akwaga n'ụzọ dị ukwuu na Transformer azụ ọkpụkpụ.
Nghọta nka nka
Isi ihe ọhụrụ bụ ka DiT si etinye ntụ oyi dị ka nkeji oge na ngwa ngwa ederede. Kama nchikota dị mfe, ha na-eji normalization Layer adaptive (adaLN), ebe netwọk na-ebu amụma ọnụ ọgụgụ na ngbanwe parampat maka normalization n'ígwé si mgbama oyi. Ụdị adaLN-efu na-ebute ihe ndị a ka ngọngọ ọ bụla na-amalite dị ka ọrụ njirimara, na-eme ka ọzụzụ kwụsie ike. A na-akụtu patches ka ọ bụrụ akara, ejiri nlebara anya onwe onye na-ahazi ya site na ọkọlọtọ Transformer blocks, wee chịkọta ya wee dekọọ ya na pikselụ.
Ịmalite Mgbasa Transformers
Iji wuo nghọta miri emi, na-emeso Transformers mgbasa ozi dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara. Kọwaa nsonaazụ achọrọ, kọwapụta echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Mgbasa Mgbasa Ozi na-edozi izi ezi na eziokwu arụ ọrụ dị ka ogo data, iche iche ọkụ, na ịdekọ aha. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'otu oge ahụ, ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu iwu ma ọ bụrụ na edoghị anya. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ.
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole.
Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi.
Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
OpenAI's Sora na-eji ọkpụkpụ azụ Transformer gafere patches spacetime iji wepụta vidiyo ogologo nkeji, nke nwere ntụkwasị obi dị elu site na mkpali ederede.
Stable Diffusion 3 na-anakwere mgbanwe mgbanwe mgbasa ozi multimodal (MMDiT) iji hazie onyonyo ewepụtara nke ọma yana nkọwa ederede zuru oke.
Ndị na-eme nchọpụta na-atụba DiT n'ọtụtụ ijeri paramita ma na-ahụ na ịdịmma onyonyo na-abawanye nke ọma, na-eduzi mkpebi mmefu ego.
Ụlọ ihe nkiri na-eji ụdị dabere na DiT ịgbatị obere mkpachị, na-emeso okpokolo agba vidiyo ndị ọzọ dị ka ihe mgbakwunye patch ọzọ iji mebie aha.
Usoro mmejuputa
Mgbasa Transformers na omume
OpenAI's Sora na-eji ọkpụkpụ azụ Transformer gafere patches spacetime iji wepụta vidiyo ogologo nkeji, nke nwere ntụkwasị obi dị elu site na mkpali ederede.
Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Mgbasa Transformers na omume
Stable Diffusion 3 na-anakwere mgbanwe mgbanwe mgbasa ozi multimodal (MMDiT) iji hazie onyonyo ewepụtara nke ọma yana nkọwa ederede zuru oke.
Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Mgbasa Transformers na omume
Ndị na-eme nchọpụta na-atụba DiT n'ọtụtụ ijeri paramita ma na-ahụ na ịdịmma onyonyo na-abawanye nke ọma, na-eduzi mkpebi mmefu ego.
Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Mgbasa Transformers na omume
Ụlọ ihe nkiri na-eji ụdị dabere na DiT ịgbatị obere mkpachị, na-emeso okpokolo agba vidiyo ndị ọzọ dị ka ihe mgbakwunye patch ọzọ iji mebie aha.
Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu dị n'iwu ma ọ bụrụ na edoghị anya.
Ọrụ nlereanya nwere ike ịdịgasị iche n'ofe ọkụ, igwe mmadụ, na gburugburu.
Enwere ike ghara ịhụ ihe dị mma ma ọ bụrụ na enyochaghị oke ntụkwasị obi.
Map mmejuputa
Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie.
Mesoo nke a dị ka ọnụ ụzọ ámá ihe akaebe: ọ bụrụ na emezughị njirisi, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwalee na data dabara na ọnọdụ mmepụta n'ezie.
Mesoo nke a dị ka ọnụ ụzọ ámá ihe akaebe: ọ bụrụ na emezughị njirisi, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu.
Mesoo nke a dị ka ọnụ ụzọ ámá ihe akaebe: ọ bụrụ na emezughị njirisi, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset.
Mesoo nke a dị ka ọnụ ụzọ ámá ihe akaebe: ọ bụrụ na emezughị njirisi, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nọgide na-eme nchọpụta
Check your understanding
Test yourself: take the Diffusion Transformers quiz