คู่มือ AI แบบเห็นภาพ

การผกผันข้อความ Null

การกลับข้อความ Null เป็นเทคนิคที่ช่วยให้คุณแก้ไขภาพถ่ายจริงด้วยโมเดลการแพร่กระจายที่ขับเคลื่อนด้วยข้อความ เช่น Stable Diffusion ขณะเดียวกันก็รักษาทุกสิ่งที่คุณไม่ต้องการให้เปลี่ยนแปลงอย่างสมบูรณ์

ภาพรวม

การกลับข้อความ Null เป็นเทคนิคที่ช่วยให้คุณแก้ไขภาพถ่ายจริงด้วยโมเดลการแพร่กระจายที่ขับเคลื่อนด้วยข้อความ เช่น Stable Diffusion ขณะเดียวกันก็รักษาทุกสิ่งที่คุณไม่ต้องการให้เปลี่ยนแปลงอย่างสมบูรณ์ มันเชื่อมช่องว่างระหว่างการสร้างภาพที่สดใหม่และการสร้างใหม่และแก้ไขภาพที่คุณมีอยู่แล้วอย่างสมจริง

Null-Text Inversion เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินการ และความคิดสร้างสรรค์

เจาะลึก

หากต้องการแก้ไขภาพจริงด้วยโมเดลการแพร่กระจาย คุณต้องรันกระบวนการสร้างแบบย้อนกลับก่อนเพื่อค้นหาจุดรบกวนที่จะสร้างขึ้นใหม่ วิธีการที่รวดเร็วที่เรียกว่าการผกผันของ DDIM ทำได้ แต่จะคลาดเคลื่อน ดังนั้นการสร้างใหม่จึงดูผิดเล็กน้อย คำแนะนำแบบไม่มีตัวแยกประเภท ซึ่งจะเพิ่มความเข้มของข้อความแจ้งคัดท้ายรูปภาพ ซึ่งขยายความที่เบี่ยงเบนออกไปได้ไม่ดี การกลับข้อความ Null ซึ่งนำมาใช้โดยนักวิจัย Google ในปี 2022 แก้ไขปัญหานี้โดยปล่อยให้โมเดลหยุดนิ่งและเพิ่มประสิทธิภาพการฝังข้อความ 'null' (ว่าง) ที่ใช้ในการแนะนำแทน หนึ่งรายการต่อไทม์สเตป denoising วิธีนี้จะปักหมุดการสร้างใหม่กลับลงบนภาพต้นฉบับ เพื่อให้การแก้ไขในภายหลัง เช่น เปลี่ยน "สุนัข" เป็น "แมว" ให้เปลี่ยนเฉพาะเนื้อหาที่ต้องการ

ข้อมูลเชิงลึกทางเทคนิค

คำแนะนำแบบไม่มีตัวแยกประเภทคาดการณ์ระหว่างการทำนายแบบมีเงื่อนไข (พร้อมพร้อมท์) และแบบไม่มีเงื่อนไข (พร้อมการฝังพร้อมต์ว่าง) การกลับข้อความ Null จะคงพรอมต์จริงและน้ำหนักคงที่ และการไล่ระดับสีจะปรับให้เหมาะสมเฉพาะการฝังว่างนั้นในแต่ละขั้นตอนการแพร่ประมาณ 50 ขั้นตอน ดังนั้นวิถีโคจรที่แนะนำจะติดตามเส้นทาง DDIM ที่คำนวณไว้ล่วงหน้า ผลลัพธ์ที่ได้คือการสร้างใหม่ให้เกือบจะสมบูรณ์แบบด้วยพิกเซลพร้อมคำแนะนำที่ชัดเจน ปล่อยให้คำสั่งมีอิสระในการแก้ไขอย่างแม่นยำ

การเรียนรู้การผกผันข้อความ Null

การกลับข้อความ Null เป็นเทคนิคที่ช่วยให้คุณแก้ไขภาพถ่ายจริงด้วยโมเดลการแพร่กระจายที่ขับเคลื่อนด้วยข้อความ เช่น Stable Diffusion ขณะเดียวกันก็รักษาทุกสิ่งที่คุณไม่ต้องการให้เปลี่ยนแปลงอย่างสมบูรณ์ มันเชื่อมช่องว่างระหว่างการสร้างภาพที่สดใหม่และการสร้างใหม่และแก้ไขภาพที่คุณมีอยู่แล้วอย่างสมจริง Null-Text Inversion เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินการ และความคิดสร้างสรรค์ หากต้องการสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Null-Text Inversion เป็นแบบจำลองการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Null-Text Inversion มีความแม่นยำสมดุลกับความเป็นจริงในการปฏิบัติงาน เช่น คุณภาพของข้อมูล ความแปรปรวนของแสง และความสอดคล้องของการติดป้ายกำกับ โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในขณะเดียวกัน สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ

Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง

ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของการผกผันข้อความ Null

การกลับข้อความ Null ทำได้ช้าเนื่องจากปรับให้เหมาะสมต่อภาพ ดังนั้นงานที่ใหม่กว่าจึงมุ่งไปสู่การกลับกันแบบทันทีและไม่มีการเพิ่มประสิทธิภาพ วิธีการต่างๆ เช่น การผกผันแบบลบ-พรอมต์ การผกผันแบบตรง และวิธีการที่สร้างขึ้นจากความสอดคล้องที่เร็วขึ้นและแบบจำลองหลายขั้นตอนมุ่งเป้าไปที่ความเที่ยงตรงแบบเดียวกันในการส่งต่อเพียงครั้งเดียว คาดหวังว่าการกลับกันจะกลายเป็นขั้นตอนที่เงียบในตัวภายในโปรแกรมแก้ไขภาพสำหรับผู้บริโภค ช่วยให้สามารถแก้ไขภาพจริงที่เชื่อถือได้โดยที่ผู้ใช้ไม่เคยเห็นคณิตศาสตร์มาก่อน

การใช้งานจริงในโลกแห่งความเป็นจริง

การแก้ไขภาพวันหยุดจริงเพื่อให้รถที่จอดไว้กลายเป็นสีที่แตกต่าง โดยที่ถนน ผู้คน และแสงไฟยังคงไม่มีใครแตะต้อง

สลับสายพันธุ์สัตว์เลี้ยงตัวจริงเป็นภาพครอบครัวโดยไม่ต้องเปลี่ยนพื้นหลังหรือท่าทาง

การเปลี่ยนฤดูกาลของภาพถ่ายทิวทัศน์ (ใบไม้ในฤดูร้อนเป็นฤดูใบไม้ร่วง) โดยแก้ไขเฉพาะคำที่แจ้งเท่านั้น

ขับเคลื่อนการแก้ไขแบบท้องถิ่นในรูปแบบ 'พร้อมท์ถึงพร้อมท์' บนรูปภาพที่ผู้ใช้อัปโหลดภายในการสาธิตการวิจัยและแอปแก้ไข

รูปแบบการดำเนินงาน

การผกผันข้อความ Null ในทางปฏิบัติ

การแก้ไขภาพวันหยุดจริงเพื่อให้รถที่จอดไว้กลายเป็นสีที่แตกต่าง โดยที่ถนน ผู้คน และแสงไฟยังคงไม่มีใครแตะต้อง

การแก้ไขภาพถ่ายช่วงวันหยุดจริงเพื่อให้รถที่จอดไว้เป็นสีอื่นในขณะที่ถนน ผู้คน และแสงไฟยังคงไม่มีใครแตะต้อง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การผกผันข้อความ Null ในทางปฏิบัติ

สลับสายพันธุ์สัตว์เลี้ยงตัวจริงเป็นภาพครอบครัวโดยไม่ต้องเปลี่ยนพื้นหลังหรือท่าทาง

การเปลี่ยนสายพันธุ์ของสัตว์เลี้ยงจริงเป็นภาพครอบครัวโดยไม่ต้องเปลี่ยนพื้นหลังหรือท่าทาง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การผกผันข้อความ Null ในทางปฏิบัติ

การเปลี่ยนฤดูกาลของภาพถ่ายทิวทัศน์ (ใบไม้ในฤดูร้อนเป็นฤดูใบไม้ร่วง) โดยแก้ไขเฉพาะคำที่แจ้งเท่านั้น

การเปลี่ยนฤดูกาลของภาพถ่ายทิวทัศน์ (ใบไม้ในฤดูร้อนเป็นฤดูใบไม้ร่วง) โดยการแก้ไขเฉพาะคำที่พร้อมท์ ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการผลิตที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การผกผันข้อความ Null ในทางปฏิบัติ

ขับเคลื่อนการแก้ไขแบบท้องถิ่นในรูปแบบ 'พร้อมท์ถึงพร้อมท์' บนรูปภาพที่ผู้ใช้อัปโหลดภายในการสาธิตการวิจัยและแอปแก้ไข

ขับเคลื่อนการแก้ไขในสไตล์ 'พร้อมท์ถึงพร้อมท์' บนรูปภาพที่ผู้ใช้อัปโหลดภายในการสาธิตการวิจัยและแอปแก้ไข ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน

!

ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม

!

ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

แผนงานการดำเนินงาน

1

กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด

กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง

ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง

เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป