ภาพรวม
การกลับข้อความ Null เป็นเทคนิคที่ช่วยให้คุณแก้ไขภาพถ่ายจริงด้วยโมเดลการแพร่กระจายที่ขับเคลื่อนด้วยข้อความ เช่น Stable Diffusion ขณะเดียวกันก็รักษาทุกสิ่งที่คุณไม่ต้องการให้เปลี่ยนแปลงอย่างสมบูรณ์ มันเชื่อมช่องว่างระหว่างการสร้างภาพที่สดใหม่และการสร้างใหม่และแก้ไขภาพที่คุณมีอยู่แล้วอย่างสมจริง
Null-Text Inversion เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินการ และความคิดสร้างสรรค์
เจาะลึก
หากต้องการแก้ไขภาพจริงด้วยโมเดลการแพร่กระจาย คุณต้องรันกระบวนการสร้างแบบย้อนกลับก่อนเพื่อค้นหาจุดรบกวนที่จะสร้างขึ้นใหม่ วิธีการที่รวดเร็วที่เรียกว่าการผกผันของ DDIM ทำได้ แต่จะคลาดเคลื่อน ดังนั้นการสร้างใหม่จึงดูผิดเล็กน้อย คำแนะนำแบบไม่มีตัวแยกประเภท ซึ่งจะเพิ่มความเข้มของข้อความแจ้งคัดท้ายรูปภาพ ซึ่งขยายความที่เบี่ยงเบนออกไปได้ไม่ดี การกลับข้อความ Null ซึ่งนำมาใช้โดยนักวิจัย Google ในปี 2022 แก้ไขปัญหานี้โดยปล่อยให้โมเดลหยุดนิ่งและเพิ่มประสิทธิภาพการฝังข้อความ 'null' (ว่าง) ที่ใช้ในการแนะนำแทน หนึ่งรายการต่อไทม์สเตป denoising วิธีนี้จะปักหมุดการสร้างใหม่กลับลงบนภาพต้นฉบับ เพื่อให้การแก้ไขในภายหลัง เช่น เปลี่ยน "สุนัข" เป็น "แมว" ให้เปลี่ยนเฉพาะเนื้อหาที่ต้องการ
ข้อมูลเชิงลึกทางเทคนิค
คำแนะนำแบบไม่มีตัวแยกประเภทคาดการณ์ระหว่างการทำนายแบบมีเงื่อนไข (พร้อมพร้อมท์) และแบบไม่มีเงื่อนไข (พร้อมการฝังพร้อมต์ว่าง) การกลับข้อความ Null จะคงพรอมต์จริงและน้ำหนักคงที่ และการไล่ระดับสีจะปรับให้เหมาะสมเฉพาะการฝังว่างนั้นในแต่ละขั้นตอนการแพร่ประมาณ 50 ขั้นตอน ดังนั้นวิถีโคจรที่แนะนำจะติดตามเส้นทาง DDIM ที่คำนวณไว้ล่วงหน้า ผลลัพธ์ที่ได้คือการสร้างใหม่ให้เกือบจะสมบูรณ์แบบด้วยพิกเซลพร้อมคำแนะนำที่ชัดเจน ปล่อยให้คำสั่งมีอิสระในการแก้ไขอย่างแม่นยำ
การเรียนรู้การผกผันข้อความ Null
การกลับข้อความ Null เป็นเทคนิคที่ช่วยให้คุณแก้ไขภาพถ่ายจริงด้วยโมเดลการแพร่กระจายที่ขับเคลื่อนด้วยข้อความ เช่น Stable Diffusion ขณะเดียวกันก็รักษาทุกสิ่งที่คุณไม่ต้องการให้เปลี่ยนแปลงอย่างสมบูรณ์ มันเชื่อมช่องว่างระหว่างการสร้างภาพที่สดใหม่และการสร้างใหม่และแก้ไขภาพที่คุณมีอยู่แล้วอย่างสมจริง Null-Text Inversion เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินการ และความคิดสร้างสรรค์ หากต้องการสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Null-Text Inversion เป็นแบบจำลองการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Null-Text Inversion มีความแม่นยำสมดุลกับความเป็นจริงในการปฏิบัติงาน เช่น คุณภาพของข้อมูล ความแปรปรวนของแสง และความสอดคล้องของการติดป้ายกำกับ โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในขณะเดียวกัน สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การแก้ไขภาพวันหยุดจริงเพื่อให้รถที่จอดไว้กลายเป็นสีที่แตกต่าง โดยที่ถนน ผู้คน และแสงไฟยังคงไม่มีใครแตะต้อง
สลับสายพันธุ์สัตว์เลี้ยงตัวจริงเป็นภาพครอบครัวโดยไม่ต้องเปลี่ยนพื้นหลังหรือท่าทาง
การเปลี่ยนฤดูกาลของภาพถ่ายทิวทัศน์ (ใบไม้ในฤดูร้อนเป็นฤดูใบไม้ร่วง) โดยแก้ไขเฉพาะคำที่แจ้งเท่านั้น
ขับเคลื่อนการแก้ไขแบบท้องถิ่นในรูปแบบ 'พร้อมท์ถึงพร้อมท์' บนรูปภาพที่ผู้ใช้อัปโหลดภายในการสาธิตการวิจัยและแอปแก้ไข
รูปแบบการดำเนินงาน
การผกผันข้อความ Null ในทางปฏิบัติ
การแก้ไขภาพวันหยุดจริงเพื่อให้รถที่จอดไว้กลายเป็นสีที่แตกต่าง โดยที่ถนน ผู้คน และแสงไฟยังคงไม่มีใครแตะต้อง
การแก้ไขภาพถ่ายช่วงวันหยุดจริงเพื่อให้รถที่จอดไว้เป็นสีอื่นในขณะที่ถนน ผู้คน และแสงไฟยังคงไม่มีใครแตะต้อง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
การผกผันข้อความ Null ในทางปฏิบัติ
สลับสายพันธุ์สัตว์เลี้ยงตัวจริงเป็นภาพครอบครัวโดยไม่ต้องเปลี่ยนพื้นหลังหรือท่าทาง
การเปลี่ยนสายพันธุ์ของสัตว์เลี้ยงจริงเป็นภาพครอบครัวโดยไม่ต้องเปลี่ยนพื้นหลังหรือท่าทาง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
การผกผันข้อความ Null ในทางปฏิบัติ
การเปลี่ยนฤดูกาลของภาพถ่ายทิวทัศน์ (ใบไม้ในฤดูร้อนเป็นฤดูใบไม้ร่วง) โดยแก้ไขเฉพาะคำที่แจ้งเท่านั้น
การเปลี่ยนฤดูกาลของภาพถ่ายทิวทัศน์ (ใบไม้ในฤดูร้อนเป็นฤดูใบไม้ร่วง) โดยการแก้ไขเฉพาะคำที่พร้อมท์ ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการผลิตที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
การผกผันข้อความ Null ในทางปฏิบัติ
ขับเคลื่อนการแก้ไขแบบท้องถิ่นในรูปแบบ 'พร้อมท์ถึงพร้อมท์' บนรูปภาพที่ผู้ใช้อัปโหลดภายในการสาธิตการวิจัยและแอปแก้ไข
ขับเคลื่อนการแก้ไขในสไตล์ 'พร้อมท์ถึงพร้อมท์' บนรูปภาพที่ผู้ใช้อัปโหลดภายในการสาธิตการวิจัยและแอปแก้ไข ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น