ภาพรวม
Muse เป็นโมเดลการแปลงข้อความเป็นรูปภาพจาก Google ที่สร้างรูปภาพโดยการเติมโทเค็นรูปภาพที่มาสก์ทั้งหมดในคราวเดียว ทำให้เร็วกว่าการแพร่กระจายแบบทีละขั้นตอนมาก สิ่งสำคัญคือเพราะมันแสดงให้เห็นว่าคุณจะได้ภาพคุณภาพสูงและอยู่ในแนวเดียวกันโดยไม่ต้องลดสัญญาณรบกวนซ้ำๆ ที่ผู้สร้างส่วนใหญ่พึ่งพา
Muse Masked Generative Imaging เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินงาน และความคิดสร้างสรรค์
เจาะลึก
Muse ทำงานในพื้นที่โทเค็นที่ไม่ต่อเนื่องของรูปภาพ VQGAN ที่ได้รับการฝึกล่วงหน้าจะเปลี่ยนรูปภาพให้เป็นตารางของโทเค็นจำนวนเต็ม เช่น คำศัพท์เกี่ยวกับการสร้างบล็อคภาพ ในระหว่างการฝึก โทเค็นเหล่านี้ส่วนใหญ่จะถูกปกปิด และ Transformer เรียนรู้ที่จะคาดเดากลับ โดยมีเงื่อนไขในการฝังข้อความจากโมเดลภาษาขนาดใหญ่ที่แช่แข็ง (T5-XXL) ในช่วงเวลาแห่งการสร้าง Muse เริ่มต้นจากตารางที่ปกปิดทั้งหมดและถอดรหัสในรอบคู่ขนาน โดยทำนายโทเค็นจำนวนมากต่อขั้นตอน และปิดบังโทเค็นที่มีความมั่นใจน้อยที่สุดอีกครั้ง การออกแบบสองขั้นตอนจะสร้างตารางโทเค็นความละเอียดต่ำก่อน จากนั้นโมเดลที่มีความละเอียดสูงสุดจะเติมตารางที่มีความละเอียดสูงกว่า เนื่องจากโทเค็นหลายสิบรายการแก้ไขพร้อมกัน โมเดลพารามิเตอร์ 900M และ 3B จึงสร้างภาพ 256 หรือ 512 พิกเซลในการส่งต่อเพียงไม่กี่ครั้งเท่านั้น
ข้อมูลเชิงลึกทางเทคนิค
เคล็ดลับหลักคือการถอดรหัสแบบคู่ขนานกับการรีมาสก์ตามความมั่นใจ ซึ่งมักเรียกว่าการสุ่มตัวอย่างแบบ MaskGIT แทนที่จะทำนายโทเค็นทีละรายการ (autoregressive) หรือ denoising หลายร้อยครั้ง (การแพร่กระจาย) Muse จะทำนายโทเค็นที่ถูกปกปิดทั้งหมด เก็บโทเค็นที่มีความมั่นใจมากที่สุด และมาสก์ส่วนที่เหลืออีกครั้งในรอบถัดไป การใช้ตัวเข้ารหัสข้อความ T5-XXL แบบแช่แข็งช่วยให้เข้าใจภาษาได้ดีฟรี และการใช้งานโทเค็นแบบแยกช่วยให้โมเดลมีเหตุผลเกี่ยวกับรูปภาพที่คล้ายกับคำมากขึ้น
การเรียนรู้ Muse Masked Generative Imaging
Muse เป็นโมเดลการแปลงข้อความเป็นรูปภาพจาก Google ที่สร้างรูปภาพโดยการเติมโทเค็นรูปภาพที่มาสก์ทั้งหมดในคราวเดียว ทำให้เร็วกว่าการแพร่กระจายแบบทีละขั้นตอนมาก สิ่งสำคัญคือเพราะมันแสดงให้เห็นว่าคุณจะได้ภาพคุณภาพสูงและอยู่ในแนวเดียวกันโดยไม่ต้องลดสัญญาณรบกวนซ้ำๆ ที่ผู้สร้างส่วนใหญ่พึ่งพา Muse Masked Generative Imaging เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินงาน และความคิดสร้างสรรค์ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Muse Masked Generative Imaging เป็นโมเดลการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งใช้ Muse Masked Generative Imaging เพื่อความสมดุลระหว่างความแม่นยำกับความเป็นจริงในการปฏิบัติงาน เช่น คุณภาพของข้อมูล ความแปรปรวนของแสง และความสม่ำเสมอของการติดฉลาก โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในขณะเดียวกัน สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
คอนเซ็ปต์อาร์ตและมูดบอร์ดที่รวดเร็วซึ่งศิลปินต้องการรูปภาพที่หลากหลายในเวลาไม่กี่วินาที แทนที่จะเป็นนาที
การลงสีแบบ Zero-shot เช่น การลบวัตถุออก และให้แบบจำลองเติมเต็มพื้นที่ที่ปิดบังให้สอดคล้องกับสภาพแวดล้อม
การทาสีภายนอกเพื่อขยายรูปภาพให้เกินขอบเขตดั้งเดิมสำหรับแบนเนอร์หรืออัตราส่วนภาพต่างๆ
การแก้ไขโดยไม่สวมหน้ากาก เช่น การเปลี่ยนสีของสุนัข หรือท้องฟ้าเป็นพระอาทิตย์ตกโดยการแก้ไขข้อความแจ้งและถอดรหัสโทเค็นที่ได้รับผลกระทบอีกครั้ง
รูปแบบการดำเนินงาน
Muse Masked Generative Imaging ในทางปฏิบัติ
คอนเซ็ปต์อาร์ตและมูดบอร์ดที่รวดเร็วซึ่งศิลปินต้องการรูปภาพที่หลากหลายในเวลาไม่กี่วินาที แทนที่จะเป็นนาที
คอนเซ็ปต์อาร์ตและมู้ดบอร์ดที่รวดเร็วซึ่งศิลปินต้องการรูปภาพที่หลากหลายในเวลาไม่กี่วินาทีแทนที่จะเป็นนาที ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับ Edge Case และติดตามทั้งประสิทธิภาพที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Muse Masked Generative Imaging ในทางปฏิบัติ
การลงสีแบบ Zero-shot เช่น การลบวัตถุออก และให้แบบจำลองเติมเต็มพื้นที่ที่ปิดบังให้สอดคล้องกับสภาพแวดล้อม
การลงสีแบบ Zero-shot เช่น การลบวัตถุออกและให้แบบจำลองเติมเต็มพื้นที่ที่ปิดบังให้สอดคล้องกับสภาพแวดล้อม ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Muse Masked Generative Imaging ในทางปฏิบัติ
การทาสีภายนอกเพื่อขยายรูปภาพให้เกินขอบเขตดั้งเดิมสำหรับแบนเนอร์หรืออัตราส่วนภาพต่างๆ
การทาสีทับเพื่อขยายรูปภาพให้เกินขอบเขตดั้งเดิมสำหรับแบนเนอร์หรืออัตราส่วนภาพต่างๆ ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Muse Masked Generative Imaging ในทางปฏิบัติ
การแก้ไขโดยไม่สวมหน้ากาก เช่น การเปลี่ยนสีของสุนัข หรือท้องฟ้าเป็นพระอาทิตย์ตกโดยการแก้ไขข้อความแจ้งและถอดรหัสโทเค็นที่ได้รับผลกระทบอีกครั้ง
การแก้ไขโดยไม่สวมหน้ากาก เช่น การเปลี่ยนสีของสุนัขหรือท้องฟ้าเป็นพระอาทิตย์ตกโดยการแก้ไขข้อความแจ้งและถอดรหัสโทเค็นที่ได้รับผลกระทบอีกครั้ง ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น