คู่มือ AI แบบเห็นภาพ

GLIGEN การสร้างสายดิน

GLIGEN (Grounded-Language-to-Image Generation) ช่วยให้คุณควบคุมได้อย่างแม่นยำว่าวัตถุจะปรากฏที่ใดในรูปภาพที่สร้างขึ้นโดยการป้อนกล่องและป้ายกำกับขอบเขตของโมเดลควบคู่ไปกับข้อความแจ้ง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ GLIGEN Grounded Generation
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

เปลี่ยนข้อความเป็นภาพที่คลุมเครือเป็นการสังเคราะห์ที่แม่นยำและควบคุมเค้าโครงได้

เจาะลึก

โมเดลข้อความเป็นรูปภาพมาตรฐานมีปัญหากับการควบคุมเชิงพื้นที่: ถามหา 'แมวทางซ้ายของสุนัข' และคุณมักจะจัดตำแหน่งผิด GLIGEN ซึ่งเปิดตัวในปี 2023 แก้ไขปัญหานี้โดยการเพิ่มอินพุตกราวด์ เช่น กล่องขอบเขตที่จับคู่กับเอนทิตีข้อความหรือรูปภาพ จุดสำคัญ หรือรูปภาพอ้างอิง สิ่งสำคัญที่สุดคือ มันจะหยุดน้ำหนักของโมเดลการแพร่กระจายแบบเดิมที่ได้รับการฝึกไว้ล่วงหน้า และอัดฉีดเลเยอร์การดูแลตนเองที่มีรั้วรอบขอบชิดที่สามารถฝึกได้ใหม่ ซึ่งจะดูดซับโทเค็นกราวด์ ซึ่งหมายความว่าจะสร้างบนโมเดลอย่าง Stable Diffusion โดยไม่ทำลายความรู้ที่เรียนมา และเกตเริ่มต้นใกล้ศูนย์ ดังนั้นพฤติกรรมของโมเดลพื้นฐานจึงได้รับการเก็บรักษาไว้ตั้งแต่เนิ่นๆ ในการฝึก ผลลัพธ์ที่ได้คือการสร้างโลกที่เปิดกว้าง: คุณสามารถวางวัตถุที่อธิบายโดยพลการในตำแหน่งที่ระบุได้ และจะสรุปแนวคิดและเค้าโครงที่ไม่เห็นในระหว่างการฝึกภาคพื้นดิน

การใช้งานจริงในโลกแห่งความเป็นจริง

การวางโลโก้หรือผลิตภัณฑ์ในพื้นที่ที่แน่นอนของโฆษณาที่สร้างขึ้นโดยใช้กรอบขอบเขต

การเขียนฉากที่ซับซ้อนโดยระบุตำแหน่งที่ตัวละครหรือวัตถุแต่ละตัวควรนั่งก่อนเรนเดอร์

การสร้างข้อมูลการฝึกอบรมสำหรับการตรวจจับวัตถุด้วยตำแหน่งกล่องความจริงที่ทราบ

การวาดภาพวัตถุที่อธิบายไว้ในพื้นที่ที่ผู้ใช้วาดของภาพถ่ายที่มีอยู่

อนาคตของ GLIGEN Grounded Generation

การสร้างแบบมีสายดินและควบคุมโครงร่างได้กำลังกลายเป็นมาตรฐานในเครื่องมือการผลิต คาดว่าการปรับสภาพเชิงพื้นที่สไตล์ GLIGEN จะผสานเข้ากับวิธีการควบคุมอื่นๆ เช่น ControlNet และการแจ้งเตือนตามภูมิภาค และขยายไปสู่วิดีโอและ 3D ซึ่งการวางตำแหน่งวัตถุในช่วงเวลาและพื้นที่มีความสำคัญมากยิ่งขึ้น เนื่องจากโมเดลใช้อินเทอร์เฟซที่ปฏิบัติตามคำแนะนำ การควบคุมเค้าโครงแบบลากและวางและกราฟฉากที่ระบุภาษาจะทำให้สามารถเข้าถึงองค์ประกอบที่แม่นยำได้โดยไม่ต้องอาศัยเทคนิคทางวิศวกรรมในทันที

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
  • สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
  • ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

ระวัง

  • สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
  • ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
  • ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

ขั้นตอนต่อไป

  1. กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
  2. ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
  3. เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
  4. ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

ทำแบบทดสอบ GLIGEN Grounded Generation

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การสร้างสายดิน GLIGEN คืออะไร?

GLIGEN (Grounded-Language-to-Image Generation) ช่วยให้คุณควบคุมได้อย่างแม่นยำว่าวัตถุจะปรากฏที่ใดในรูปภาพที่สร้างขึ้นโดยการป้อนกล่องและป้ายกำกับขอบเขตของโมเดลควบคู่ไปกับข้อความแจ้ง เปลี่ยนข้อความเป็นภาพที่คลุมเครือเป็นการสังเคราะห์ที่แม่นยำและควบคุมเค้าโครงได้

GLIGEN แก้ปัญหาอะไรเป็นหลัก?

GLIGEN เพิ่มอินพุตกราวด์ เช่น กล่องขอบเขต เพื่อให้คุณสามารถควบคุมได้อย่างแม่นยำว่าวัตถุถูกวางไว้ที่ใด ซึ่งข้อความธรรมดาจะจัดการได้ไม่ดี

GLIGEN จะรักษาความรู้เกี่ยวกับแบบจำลองการแพร่กระจายที่ได้รับการฝึกไว้ล่วงหน้าอย่างไร

GLIGEN หยุดการทำงานของโมเดลพื้นฐานและอัดฉีดเลเยอร์การดูแลตนเองแบบมีรั้วรอบขอบชิดใหม่ ดังนั้นความรู้ดั้งเดิมที่เรียนรู้จึงยังคงสภาพเดิม

อินพุตกราวด์ทั่วไปที่ GLIGEN ยอมรับคืออะไร

GLIGEN รองรับการต่อสายดินผ่านกล่องขอบที่มีเอนทิตีข้อความ/รูปภาพ จุดสำคัญ และรูปภาพอ้างอิง

เหตุใดเกตในเลเยอร์ความสนใจใหม่ของ GLIGEN จึงเริ่มต้นเป็นศูนย์

เกตที่กำหนดค่าเริ่มต้นเป็นศูนย์หมายความว่าการต่อสายดินไม่มีผลกระทบตั้งแต่แรก โดยคงรุ่นดั้งเดิมไว้และรักษาความเสถียรในการฝึกในขณะที่การควบคุมเพิ่มขึ้น

การสร้างโลกที่เปิดกว้างหมายถึงอะไรใน GLIGEN

GLIGEN นำเสนอสิ่งที่นอกเหนือจากชุดการฝึกภาคพื้นดิน โดยการวางวัตถุที่บรรยายใหม่ๆ ไว้ในตำแหน่งที่ระบุ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →