การผกผันข้อความ Null
การกลับข้อความ Null เป็นเทคนิคที่ช่วยให้คุณแก้ไขภาพถ่ายจริงด้วยโมเดลการแพร่กระจายที่ขับเคลื่อนด้วยข้อความ เช่น Stable Diffusion ขณะเดียวกันก็รักษาทุกสิ่งที่คุณไม่ต้องการให้เปลี่ยนแปลงอย่างสมบูรณ์
ภาพรวม
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
เจาะลึก
หากต้องการแก้ไขภาพจริงด้วยโมเดลการแพร่กระจาย คุณต้องรันกระบวนการสร้างแบบย้อนกลับก่อนเพื่อค้นหาจุดรบกวนที่จะสร้างขึ้นใหม่ วิธีการที่รวดเร็วที่เรียกว่าการผกผันของ DDIM ทำได้ แต่จะคลาดเคลื่อน ดังนั้นการสร้างใหม่จึงดูผิดเล็กน้อย คำแนะนำแบบไม่มีตัวแยกประเภท ซึ่งจะเพิ่มความเข้มของข้อความแจ้งคัดท้ายรูปภาพ ซึ่งขยายความที่เบี่ยงเบนออกไปได้ไม่ดี การกลับข้อความ Null ซึ่งนำมาใช้โดยนักวิจัย Google ในปี 2022 แก้ไขปัญหานี้โดยปล่อยให้โมเดลหยุดนิ่งและเพิ่มประสิทธิภาพการฝังข้อความ 'null' (ว่าง) ที่ใช้ในการแนะนำแทน หนึ่งรายการต่อไทม์สเตป denoising วิธีนี้จะปักหมุดการสร้างใหม่กลับลงบนภาพต้นฉบับ เพื่อให้การแก้ไขในภายหลัง เช่น เปลี่ยน "สุนัข" เป็น "แมว" ให้เปลี่ยนเฉพาะเนื้อหาที่ต้องการ
ข้อมูลเชิงลึกทางเทคนิค
คำแนะนำแบบไม่มีตัวแยกประเภทคาดการณ์ระหว่างการทำนายแบบมีเงื่อนไข (พร้อมพร้อมท์) และแบบไม่มีเงื่อนไข (พร้อมการฝังพร้อมต์ว่าง) การกลับข้อความ Null จะคงพรอมต์จริงและน้ำหนักคงที่ และการไล่ระดับสีจะปรับให้เหมาะสมเฉพาะการฝังว่างนั้นในแต่ละขั้นตอนการแพร่ประมาณ 50 ขั้นตอน ดังนั้นวิถีโคจรที่แนะนำจะติดตามเส้นทาง DDIM ที่คำนวณไว้ล่วงหน้า ผลลัพธ์ที่ได้คือการสร้างใหม่ให้เกือบจะสมบูรณ์แบบด้วยพิกเซลพร้อมคำแนะนำที่ชัดเจน ปล่อยให้คำสั่งมีอิสระในการแก้ไขอย่างแม่นยำ
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของการผกผันข้อความ Null
การกลับข้อความ Null ทำได้ช้าเนื่องจากปรับให้เหมาะสมต่อภาพ ดังนั้นงานที่ใหม่กว่าจึงมุ่งไปสู่การกลับกันแบบทันทีและไม่มีการเพิ่มประสิทธิภาพ วิธีการต่างๆ เช่น การผกผันแบบลบ-พรอมต์ การผกผันแบบตรง และวิธีการที่สร้างขึ้นจากความสอดคล้องที่เร็วขึ้นและแบบจำลองหลายขั้นตอนมุ่งเป้าไปที่ความเที่ยงตรงแบบเดียวกันในการส่งต่อเพียงครั้งเดียว คาดหวังว่าการกลับกันจะกลายเป็นขั้นตอนที่เงียบในตัวภายในโปรแกรมแก้ไขภาพสำหรับผู้บริโภค ช่วยให้สามารถแก้ไขภาพจริงที่เชื่อถือได้โดยที่ผู้ใช้ไม่เคยเห็นคณิตศาสตร์มาก่อน
การใช้งานจริงในโลกแห่งความเป็นจริง
การแก้ไขภาพวันหยุดจริงเพื่อให้รถที่จอดไว้กลายเป็นสีที่แตกต่าง โดยที่ถนน ผู้คน และแสงไฟยังคงไม่มีใครแตะต้อง
สลับสายพันธุ์สัตว์เลี้ยงตัวจริงเป็นภาพครอบครัวโดยไม่ต้องเปลี่ยนพื้นหลังหรือท่าทาง
การเปลี่ยนฤดูกาลของภาพถ่ายทิวทัศน์ (ใบไม้ในฤดูร้อนเป็นฤดูใบไม้ร่วง) โดยแก้ไขเฉพาะคำที่แจ้งเท่านั้น
ขับเคลื่อนการแก้ไขแบบท้องถิ่นในรูปแบบ 'พร้อมท์ถึงพร้อมท์' บนรูปภาพที่ผู้ใช้อัปโหลดภายในการสาธิตการวิจัยและแอปแก้ไข
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
สร้าง-A-Video ข้อความเป็นวิดีโอ
คำถามที่พบบ่อย
What is Null-Text Inversion?
การกลับข้อความ Null เป็นเทคนิคที่ช่วยให้คุณแก้ไขภาพถ่ายจริงด้วยโมเดลการแพร่กระจายที่ขับเคลื่อนด้วยข้อความ เช่น Stable Diffusion ขณะเดียวกันก็รักษาทุกสิ่งที่คุณไม่ต้องการให้เปลี่ยนแปลงอย่างสมบูรณ์ มันเชื่อมช่องว่างระหว่างการสร้างภาพที่สดใหม่และการสร้างใหม่และแก้ไขภาพที่คุณมีอยู่แล้วอย่างสมจริง
การกลับข้อความ null ปรับให้เหมาะสมจริง ๆ อะไร?
มันทำให้โมเดลและพรอมต์จริงหยุดนิ่ง และปรับให้เหมาะสมเฉพาะการฝังข้อความที่ไม่มีเงื่อนไข/ว่างในแต่ละไทม์สเต็ป ซึ่งรวดเร็วและไม่ทำลาย
เหตุใดการผกผัน DDIM ธรรมดาจึงไม่น่าเชื่อถือเมื่อใช้สำหรับการแก้ไข
การผกผันของ DDIM จะสะสมข้อผิดพลาดเล็กๆ น้อยๆ และคำแนะนำที่ชัดเจนซึ่งจำเป็นสำหรับการแก้ไขที่ดีจะขยายการเคลื่อนตัวและการสร้างใหม่ให้เสื่อมถอยยิ่งขึ้น
เป้าหมายหลักของการกลับภาพจริงก่อนทำการแก้ไขคืออะไร?
การแก้ไขจำเป็นต้องมีจุดเริ่มต้นและวิถีที่สร้างต้นฉบับขึ้นมาใหม่ ดังนั้นการเปลี่ยนแปลงทันทีจะเปลี่ยนแปลงเฉพาะเนื้อหาที่ต้องการเท่านั้น
การผกผันข้อความ Null โดยประมาณจะจัดการกับการปรับให้เหมาะสมระหว่างกระบวนการแพร่กระจายได้อย่างไร
การฝังข้อความ Null ที่แตกต่างกันจะถูกปรับตามแต่ละช่วงเวลา ดังนั้นเส้นทางที่แนะนำจะติดตามวิถีการผกผันที่คำนวณไว้ล่วงหน้าอย่างใกล้ชิด
การกลับข้อความ Null มักจะจับคู่กับวิธีการแก้ไขประเภทใด
เมื่อรูปภาพจริงกลับด้านอย่างซื่อสัตย์ วิธีการขับเคลื่อนด้วยพร้อมท์ เช่น พร้อมท์ถึงพร้อมท์ สามารถทำการเปลี่ยนแปลงที่กำหนดเป้าหมายและเป็นภาษาท้องถิ่นได้