ภาพรวม
Diffusion Transformers (DiTs) สลับ Convolutional U-Net ที่เป็นหัวใจสำคัญของตัวสร้างภาพและวิดีโอสำหรับแกนหลักของ Transformer สถาปัตยกรรมนี้ขับเคลื่อนระบบชั้นนำ เช่น Stable Diffusion 3 และ OpenAI ของ Sora และจะปรับขนาดได้อย่างน่าทึ่งเมื่อคุณเพิ่มการประมวลผล
Diffusion Transformers เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินงาน และความคิดสร้างสรรค์
เจาะลึก
แบบจำลองการแพร่กระจายจะสร้างภาพโดยเริ่มจากสัญญาณรบกวนบริสุทธิ์ และค่อยๆ ลดสัญญาณรบกวนให้เป็นภาพที่เชื่อมโยงกัน เป็นเวลาหลายปีที่เครือข่ายที่ทำการลดสัญญาณรบกวนนั้นเป็น U-Net ซึ่งเป็นสถาปัตยกรรมแบบบิดเบี้ยว Diffusion Transformer เปิดตัวโดย Peebles และ Xie ในปี 2022 แทนที่ U-Net ด้วย Transformer ขั้นแรกรูปภาพจะถูกบีบอัดลงในพื้นที่แฝง โดยแบ่งออกเป็นแพตช์เล็กๆ และแต่ละแพตช์จะกลายเป็นโทเค็น เหมือนกับคำในแบบจำลองภาษา จากนั้น Transformer จะประมวลผลโทเค็นเหล่านี้ด้วยความสนใจในตัวเองในแต่ละขั้นตอนการลดสัญญาณรบกวน การค้นพบที่สำคัญคือประสิทธิภาพของ DiT ดีขึ้นอย่างคาดการณ์ได้เมื่อคุณเพิ่มขนาดโมเดลและลดขนาดแพตช์ ตามกฎหมายการปรับขนาดที่สะอาด ความสามารถในการปรับขนาดนี้คือสาเหตุที่ระบบแปลงข้อความเป็นวิดีโอและระบบแปลงข้อความเป็นรูปภาพระดับไฮเอนด์ได้ย้ายไปยังแบ็คโบนของ Transformer เป็นส่วนใหญ่
ข้อมูลเชิงลึกทางเทคนิค
นวัตกรรมหลักคือวิธีที่ DiT ใส่เงื่อนไข เช่น การบอกเวลาและข้อความแจ้ง แทนที่จะใช้การต่อข้อมูลแบบธรรมดา พวกเขาใช้การปรับเลเยอร์การทำให้เป็นมาตรฐาน (adaLN) โดยที่เครือข่ายคาดการณ์พารามิเตอร์ขนาดและการเปลี่ยนแปลงสำหรับเลเยอร์การทำให้เป็นมาตรฐานจากสัญญาณการปรับสภาพ ตัวแปร adaLN-zero จะเริ่มต้นสิ่งเหล่านี้ ดังนั้นแต่ละบล็อกจึงเริ่มต้นเป็นฟังก์ชันการระบุตัวตน ซึ่งทำให้การฝึกมีความเสถียร แพตช์จะถูกทำให้แบนเป็นโทเค็น ประมวลผลโดยบล็อก Transformer มาตรฐานโดยต้องใส่ใจในตัวเอง จากนั้นจึงประกอบกลับเข้าไปใหม่และถอดรหัสกลับเป็นพิกเซล
การเรียนรู้หม้อแปลงไฟฟ้าแบบกระจาย
Diffusion Transformers (DiTs) สลับ Convolutional U-Net ที่เป็นหัวใจสำคัญของตัวสร้างภาพและวิดีโอสำหรับแกนหลักของ Transformer สถาปัตยกรรมนี้ขับเคลื่อนระบบชั้นนำ เช่น Stable Diffusion 3 และ OpenAI ของ Sora และจะปรับขนาดได้อย่างน่าทึ่งเมื่อคุณเพิ่มการประมวลผล Diffusion Transformers เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินงาน และความคิดสร้างสรรค์ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Diffusion Transformers เป็นเพียงแบบจำลองการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Diffusion Transformers จะรักษาสมดุลระหว่างความแม่นยำกับความเป็นจริงในการปฏิบัติงาน เช่น คุณภาพของข้อมูล ความแปรปรวนของแสง และความสม่ำเสมอในการติดฉลาก โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในขณะเดียวกัน สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
Sora ของ OpenAI ใช้แกนหลักของ Transformer บนแพตช์กาลอวกาศเพื่อสร้างวิดีโอที่มีความแม่นยำสูงความยาวหนึ่งนาทีจากข้อความแจ้ง
Stable Diffusion 3 ใช้ Multimodal Diffusion Transformer (MMDiT) เพื่อจัดแนวรูปภาพที่สร้างขึ้นด้วยคำอธิบายข้อความโดยละเอียดได้ดียิ่งขึ้น
นักวิจัยปรับขนาด DiT เป็นพารามิเตอร์นับพันล้านและสังเกตคุณภาพของภาพที่ได้รับการปรับปรุงอย่างคาดการณ์ได้ ซึ่งเป็นแนวทางในการตัดสินใจด้านงบประมาณในการประมวลผล
สตูดิโอใช้โมเดลที่ใช้ DiT เพื่อขยายคลิปสั้น โดยถือว่าเฟรมวิดีโอพิเศษเป็นโทเค็นแพตช์เพิ่มเติมที่จะลดทอน
รูปแบบการดำเนินงาน
หม้อแปลงไฟฟ้าแบบกระจายในทางปฏิบัติ
Sora ของ OpenAI ใช้แกนหลักของ Transformer บนแพตช์กาลอวกาศเพื่อสร้างวิดีโอที่มีความแม่นยำสูงความยาวหนึ่งนาทีจากข้อความแจ้ง
OpenAI ของ Sora ใช้แกนหลักของ Transformer บนแพตช์กาลอวกาศเพื่อสร้างวิดีโอที่มีความแม่นยำสูงความยาวหนึ่งนาทีจากข้อความแจ้ง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
หม้อแปลงไฟฟ้าแบบกระจายในทางปฏิบัติ
Stable Diffusion 3 ใช้ Multimodal Diffusion Transformer (MMDiT) เพื่อจัดแนวรูปภาพที่สร้างขึ้นด้วยคำอธิบายข้อความโดยละเอียดได้ดียิ่งขึ้น
Stable Diffusion 3 ใช้ Multimodal Diffusion Transformer (MMDiT) เพื่อจัดแนวรูปภาพที่สร้างขึ้นด้วยคำอธิบายข้อความโดยละเอียด ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับ Edge Cases และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
หม้อแปลงไฟฟ้าแบบกระจายในทางปฏิบัติ
นักวิจัยปรับขนาด DiT เป็นพารามิเตอร์นับพันล้านและสังเกตคุณภาพของภาพที่ได้รับการปรับปรุงอย่างคาดการณ์ได้ ซึ่งเป็นแนวทางในการตัดสินใจด้านงบประมาณในการประมวลผล
นักวิจัยปรับขนาด DiT เป็นพารามิเตอร์นับพันล้านและสังเกตคุณภาพของภาพที่ได้รับการปรับปรุงอย่างคาดการณ์ได้ โดยชี้แนะการตัดสินใจด้านงบประมาณการประมวลผล ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
หม้อแปลงไฟฟ้าแบบกระจายในทางปฏิบัติ
สตูดิโอใช้โมเดลที่ใช้ DiT เพื่อขยายคลิปสั้น โดยถือว่าเฟรมวิดีโอพิเศษเป็นโทเค็นแพตช์เพิ่มเติมที่จะลดทอน
สตูดิโอใช้โมเดลที่ใช้ DiT เพื่อขยายคลิปสั้น โดยถือว่าเฟรมวิดีโอพิเศษเป็นโทเค็นแพตช์เพิ่มเติมเพื่อปฏิเสธทีมมักจะได้รับผลลัพธ์ที่ดีกว่า เมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น