คู่มือ AI แบบเห็นภาพ
GLIGEN การสร้างสายดิน
GLIGEN (Grounded-Language-to-Image Generation) ช่วยให้คุณควบคุมได้อย่างแม่นยำว่าวัตถุจะปรากฏที่ใดในรูปภาพที่สร้างขึ้นโดยการป้อนกล่องและป้ายกำกับขอบเขตของโมเดลควบคู่ไปกับข้อความแจ้ง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
เปลี่ยนข้อความเป็นภาพที่คลุมเครือเป็นการสังเคราะห์ที่แม่นยำและควบคุมเค้าโครงได้
เจาะลึก
โมเดลข้อความเป็นรูปภาพมาตรฐานมีปัญหากับการควบคุมเชิงพื้นที่: ถามหา 'แมวทางซ้ายของสุนัข' และคุณมักจะจัดตำแหน่งผิด GLIGEN ซึ่งเปิดตัวในปี 2023 แก้ไขปัญหานี้โดยการเพิ่มอินพุตกราวด์ เช่น กล่องขอบเขตที่จับคู่กับเอนทิตีข้อความหรือรูปภาพ จุดสำคัญ หรือรูปภาพอ้างอิง สิ่งสำคัญที่สุดคือ มันจะหยุดน้ำหนักของโมเดลการแพร่กระจายแบบเดิมที่ได้รับการฝึกไว้ล่วงหน้า และอัดฉีดเลเยอร์การดูแลตนเองที่มีรั้วรอบขอบชิดที่สามารถฝึกได้ใหม่ ซึ่งจะดูดซับโทเค็นกราวด์ ซึ่งหมายความว่าจะสร้างบนโมเดลอย่าง Stable Diffusion โดยไม่ทำลายความรู้ที่เรียนมา และเกตเริ่มต้นใกล้ศูนย์ ดังนั้นพฤติกรรมของโมเดลพื้นฐานจึงได้รับการเก็บรักษาไว้ตั้งแต่เนิ่นๆ ในการฝึก ผลลัพธ์ที่ได้คือการสร้างโลกที่เปิดกว้าง: คุณสามารถวางวัตถุที่อธิบายโดยพลการในตำแหน่งที่ระบุได้ และจะสรุปแนวคิดและเค้าโครงที่ไม่เห็นในระหว่างการฝึกภาคพื้นดิน
การใช้งานจริงในโลกแห่งความเป็นจริง
การวางโลโก้หรือผลิตภัณฑ์ในพื้นที่ที่แน่นอนของโฆษณาที่สร้างขึ้นโดยใช้กรอบขอบเขต
การเขียนฉากที่ซับซ้อนโดยระบุตำแหน่งที่ตัวละครหรือวัตถุแต่ละตัวควรนั่งก่อนเรนเดอร์
การสร้างข้อมูลการฝึกอบรมสำหรับการตรวจจับวัตถุด้วยตำแหน่งกล่องความจริงที่ทราบ
การวาดภาพวัตถุที่อธิบายไว้ในพื้นที่ที่ผู้ใช้วาดของภาพถ่ายที่มีอยู่
อนาคตของ GLIGEN Grounded Generation
การสร้างแบบมีสายดินและควบคุมโครงร่างได้กำลังกลายเป็นมาตรฐานในเครื่องมือการผลิต คาดว่าการปรับสภาพเชิงพื้นที่สไตล์ GLIGEN จะผสานเข้ากับวิธีการควบคุมอื่นๆ เช่น ControlNet และการแจ้งเตือนตามภูมิภาค และขยายไปสู่วิดีโอและ 3D ซึ่งการวางตำแหน่งวัตถุในช่วงเวลาและพื้นที่มีความสำคัญมากยิ่งขึ้น เนื่องจากโมเดลใช้อินเทอร์เฟซที่ปฏิบัติตามคำแนะนำ การควบคุมเค้าโครงแบบลากและวางและกราฟฉากที่ระบุภาษาจะทำให้สามารถเข้าถึงองค์ประกอบที่แม่นยำได้โดยไม่ต้องอาศัยเทคนิคทางวิศวกรรมในทันที
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
- สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
- ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
ระวัง
- สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
- ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
- ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
ขั้นตอนต่อไป
- กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
- ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
- เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
- ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบ GLIGEN Grounded Generation
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การสร้างสายดิน GLIGEN คืออะไร?
GLIGEN (Grounded-Language-to-Image Generation) ช่วยให้คุณควบคุมได้อย่างแม่นยำว่าวัตถุจะปรากฏที่ใดในรูปภาพที่สร้างขึ้นโดยการป้อนกล่องและป้ายกำกับขอบเขตของโมเดลควบคู่ไปกับข้อความแจ้ง เปลี่ยนข้อความเป็นภาพที่คลุมเครือเป็นการสังเคราะห์ที่แม่นยำและควบคุมเค้าโครงได้
GLIGEN แก้ปัญหาอะไรเป็นหลัก?
GLIGEN เพิ่มอินพุตกราวด์ เช่น กล่องขอบเขต เพื่อให้คุณสามารถควบคุมได้อย่างแม่นยำว่าวัตถุถูกวางไว้ที่ใด ซึ่งข้อความธรรมดาจะจัดการได้ไม่ดี
GLIGEN จะรักษาความรู้เกี่ยวกับแบบจำลองการแพร่กระจายที่ได้รับการฝึกไว้ล่วงหน้าอย่างไร
GLIGEN หยุดการทำงานของโมเดลพื้นฐานและอัดฉีดเลเยอร์การดูแลตนเองแบบมีรั้วรอบขอบชิดใหม่ ดังนั้นความรู้ดั้งเดิมที่เรียนรู้จึงยังคงสภาพเดิม
อินพุตกราวด์ทั่วไปที่ GLIGEN ยอมรับคืออะไร
GLIGEN รองรับการต่อสายดินผ่านกล่องขอบที่มีเอนทิตีข้อความ/รูปภาพ จุดสำคัญ และรูปภาพอ้างอิง
เหตุใดเกตในเลเยอร์ความสนใจใหม่ของ GLIGEN จึงเริ่มต้นเป็นศูนย์
เกตที่กำหนดค่าเริ่มต้นเป็นศูนย์หมายความว่าการต่อสายดินไม่มีผลกระทบตั้งแต่แรก โดยคงรุ่นดั้งเดิมไว้และรักษาความเสถียรในการฝึกในขณะที่การควบคุมเพิ่มขึ้น
การสร้างโลกที่เปิดกว้างหมายถึงอะไรใน GLIGEN
GLIGEN นำเสนอสิ่งที่นอกเหนือจากชุดการฝึกภาคพื้นดิน โดยการวางวัตถุที่บรรยายใหม่ๆ ไว้ในตำแหน่งที่ระบุ
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้