ስርጭት ትራንስፎርመር መመሪያ

አጠቃላይ እይታ

This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.

ጥልቅ ዳይቭ

የስርጭት ሞዴሎች ምስሎችን ያመነጫሉ ከንጹህ ጫጫታ በመነሳት እና ተደጋጋሚ በሆነ መልኩ ወደ ወጥነት ያለው ምስል በመካድ። ለዓመታት አውታረ መረቡ ያንን ውድቅ የሚያደርግ ዩ-ኔት ፣ convolutional architecture ነበር። በ2022 በፔብልስ እና ዢ ያስተዋወቀው የስርጭት ትራንስፎርመር ዩ-ኔትን በትራንስፎርመር ይተካዋል። ምስሉ መጀመሪያ ወደ ድብቅ ቦታ ተጨምቆ፣ ወደ ትናንሽ ፕላቶች ተከፍሏል፣ እና እያንዳንዱ ጠጋኝ በቋንቋ ሞዴል ውስጥ እንዳሉት ቃላት ምልክት ይሆናል። ከዚያም ትራንስፎርመር እነዚህን ቶከኖች በእያንዳንዱ የውድቀት ደረጃ በራስ ትኩረት ይሰራል። ዋናው ግኝት የሞዴሉን መጠን ሲጨምሩ እና የንጥፉን መጠን ሲቀንሱ የዲቲ አፈጻጸም መተንበይ እየተሻሻለ መምጣቱ ንጹህ የልኬት ህጎችን በመከተል ነው። የጽሑፍ-ወደ-ቪዲዮ እና ከፍተኛ-መጨረሻ የጽሑፍ-ወደ-ምስል ስርዓቶች በአብዛኛው ወደ ትራንስፎርመር የጀርባ አጥንቶች የተሸጋገሩበት ምክንያት ይህ ልኬታማነት ነው።

ቴክኒካዊ ግንዛቤ

ዋናው ፈጠራ ዲቲዎች ኮንዲሽነሪንግ እንደ የጊዜ ርዝማኔ እና የጽሑፍ መጠየቂያ እንዴት እንደሚያስገባ ነው። ከቀላል ውህደት ይልቅ፣ አውታረ መረቡ ከኮንዲሽነር ሲግናል ለመደበኛነት ንብርብሮች ልኬት እና ለውጥ መለኪያዎችን የሚተነብይበት adaptive Layer normalization (adaLN) ይጠቀማሉ። የ adaLN-ዜሮ ልዩነት እነዚህን ያስጀምራል ስለዚህ እያንዳንዱ ብሎክ እንደ ማንነት ተግባር ይጀምራል፣ ስልጠናን ያረጋጋል። ጥገናዎች ወደ ቶከኖች ተዘርግተው፣ በራሳቸው ትኩረት በመደበኛ ትራንስፎርመር ብሎኮች ተሠርተው፣ ከዚያም እንደገና ተሰብስበው ወደ ፒክስሎች ይገለጣሉ።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

ቪዥዋል AI የመመርመሪያ፣ የማወቅ እና የመለያ ስራዎችን በሚዛን መጠን በራስ ሰር ሊያደርግ ይችላል።

ምርጫዎችን ይገንቡ

የፈጠራ ቡድኖች በጥቂት የእጅ ክለሳዎች ጽንሰ-ሀሳቦችን በፍጥነት መተየብ ይችላሉ።

ቡድን እና የስራ ፍሰት

ክዋኔዎች ከዚህ ቀደም ለማስኬድ አስቸጋሪ የነበሩትን የምስል እና የቪዲዮ ምልክቶችን መጠቀም ይችላሉ።

የስርጭት ትራንስፎርመሮች የወደፊት

የስርጭት ትራንስፎርመሮች ለጄነሬቲቭ ሚዲያ ነባሪ የጀርባ አጥንት እየሆኑ ነው። ማስመሰያ-ተኮር ዲዛይናቸው ምስሎችን፣ ቪዲዮን እና የመልቲሞዳል ትውልድን በአንድ ሊሰፋ በሚችል አርክቴክቸር አንድ ለማድረግ ተፈጥሯዊ ያደርጋቸዋል። የብዙ ቶከኖች ኳድራቲክ ወጪን ለመግራት ምርምር ወደ ረጅም ቪዲዮ፣ ከፍተኛ ጥራት እና ይበልጥ ቀልጣፋ ትኩረት እየገፋ ነው። ተመሳሳይ የTransformer scaling አዘገጃጀት እና መሠረተ ልማት ሁለቱንም የሚያገለግሉበት፣ በዓለም ሞዴሎች እና በይነተገናኝ ቪዲዮ ውስጥ እድገትን የሚያፋጥን የቋንቋ እና የእይታ ሞዴሎች መካከል ያለውን ውህደት ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

OpenAI's Sora ደቂቃ የሚረዝሙ ከፍተኛ ታማኝ ቪዲዮዎችን ከጽሑፍ መጠየቂያዎች ለማፍለቅ የትራንስፎርመር የጀርባ አጥንትን በspacetime patches ይጠቀማል።

የተረጋጋ ስርጭት 3 የተፈጠሩ ምስሎችን ከዝርዝር የጽሁፍ መግለጫዎች ጋር በተሻለ መልኩ ለማጣጣም መልቲሞዳል ዲፍፍዩሽን ትራንስፎርመር (MMDiT) ይቀበላል።

ተመራማሪዎች ዲቲኤን በቢሊዮኖች የሚቆጠሩ መለኪያዎችን ያሻሽላሉ እና የምስል ጥራት መተንበይ እየተሻሻለ፣ የስሌት-በጀት ውሳኔዎችን ይመራል።

አንድ ስቱዲዮ አጫጭር ቅንጥቦችን ለማራዘም በዲቲ ላይ የተመሰረተ ሞዴል ይጠቀማል፣ ተጨማሪ የቪዲዮ ፍሬሞችን እንደ ተጨማሪ የፕላስተር ቶከኖች ይቆጥራል።

አደጋዎች እና የጥበቃ መንገዶች

የምስል መብቶች እና ፈቃድ ግልጽ ካልሆነ ህጋዊ አደጋዎች ሊሆኑ ይችላሉ።

የሞዴል አፈጻጸም በብርሃን፣ በስነ-ሕዝብ እና በአካባቢው ሊለያይ ይችላል።

የመተማመን ገደቦች ካልተቆጣጠሩ የውሸት አወንታዊ ነገሮች ላይታዩ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ለትክክለኛነት፣ ለማስታወስ እና ለስህተት ወጪዎች የመቀበያ መስፈርቶችን ይግለጹ።

ከእውነተኛ የምርት ሁኔታዎች ጋር በሚዛመድ ውሂብ ይሞክሩ።

ለዝቅተኛ እምነት ወይም ከፍተኛ ተጽዕኖ ትንበያ የሰው ግምገማን ያክሉ።

ከካሜራ ወይም የውሂብ ስብስብ ለውጦች በኋላ የሞዴሉን ተንሸራታች ይከታተሉ እና እንደገና ያረጋግጡ።

ማሰስዎን ይቀጥሉ

የኮምፒውተር እይታ

ምስላዊ AIን የሚያበረታቱ መሰረታዊ ስርዓቶችን ይረዱ።

መመሪያ ያንብቡ

AI ምስል ማመንጨት

የፍጥረት የስራ ፍሰቶችን እና የሞዴል ንግድን ያስሱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Diffusion Transformers quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የቦታ ትራንስፎርመር ኔትወርኮች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Diffusion Transformers?

የስርጭት ትራንስፎርመሮች (ዲቲዎች) በምስል እና በቪዲዮ ማመንጫዎች እምብርት ያለውን ዩ-ኔትን ለትራንስፎርመር የጀርባ አጥንት ይለውጣሉ። ይህ አርክቴክቸር እንደ Stable Diffusion 3 እና OpenAI's Sora ያሉትን የመሪ ስርዓቶችን ያጎናጽፋል፣ እና ስሌት ሲጨምሩ በሚያስደንቅ ሁኔታ ይመዝናል።

ከተለምዷዊ የስርጭት ሞዴሎች ጋር ሲነጻጸር የስርጭት ትራንስፎርመር የሚተካው የትኛውን አካል ነው?

ዲቲዎች ዩ-ኔትን ተክተዋል፣ ኮንቮሉሽናል ኔትዎርክ ውግዘት ያከናወነውን በትራንስፎርመር የጀርባ አጥንት።

እንዴት ነው ዲቲ ምስልን ትራንስፎርመር ወደ ሚሰራው ነገር የሚቀይረው?

ስውር ምስሉ በትናንሽ ንጣፎች የተከፋፈለ ነው፣ እና እያንዳንዱ መጣፊያ በቋንቋ ሞዴል ውስጥ ካሉ ቃላት ጋር ተመሳሳይነት ያለው ምልክት ይሆናል።

ዋናው የዲቲ ወረቀት ስለ ልኬት ምን አገኘ?

የሞዴል ስሌት ሲጨምሩ እና ትናንሽ ፕላስተሮችን ሲጠቀሙ የዲቲ ጥራት በንፁህ እና ሊገመት በሚችል መንገድ ይሻሻላል፣ የመጠን ህጎችን በመከተል።

ዲቲዎች በተለምዶ ኮንዲሽነሪንግ እንደ የጊዜ ደረጃ እና የጽሑፍ መጠየቂያ እንዴት ያስገባሉ?

ዲቲዎች ከኮንዲሽነር ሲግናል ለመደበኛነት ንብርብሮች ልኬትን እና ፈረቃ መለኪያዎችን ለመተንበይ የሚለምደዉ የንብርብር መደበኛነት ይጠቀማሉ።

የ'adaLN-ዜሮ' ጅምር ምን ያከናውናል?

adaLN-ዜሮ ሞጁሉን ያስጀምራል ስለዚህ እያንዳንዱ ብሎክ መጀመሪያ ላይ እንደ ማንነት ይሠራል፣ ይህም የሚያረጋጋ እና ስልጠናን ያሻሽላል።