คู่มือ AI แบบเห็นภาพ

แบบจำลองการแพร่กระจายของ GLIDE

GLIDE เป็นรูปแบบการแพร่กระจายข้อความเป็นรูปภาพ OpenAI ในยุคแรกๆ ที่แสดงข้อความแจ้งและ 'คำแนะนำแบบไม่มีตัวแยกประเภท' สามารถเอาชนะระบบที่ใช้ GAN รุ่นก่อนๆ ได้

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของโมเดลการแพร่กระจาย GLIDE
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

มันเป็นก้าวสำคัญบนเส้นทางสู่ DALL-E 2

เจาะลึก

Released by OpenAI in late 2021, GLIDE (Guided Language to Image Diffusion for Generation and Editing) demonstrated that diffusion models guided by text could produce photorealistic, prompt-faithful images. Its biggest contribution was comparing two ways to steer generation: CLIP guidance versus classifier-free guidance. The team found classifier-free guidance produced more realistic and better-aligned images, a result that shaped nearly every text-to-image model since. GLIDE also supported text-driven inpainting, letting users edit part of an image with a new prompt. It used a 3.5-billion-parameter diffusion model plus an upsampler. OpenAI released a smaller, filtered version publicly while withholding the full model over misuse concerns, and the DALL-E 2 research paper describes an unCLIP decoder that modifies the GLIDE architecture to accept CLIP-image conditioning.

การใช้งานจริงในโลกแห่งความเป็นจริง

การสร้างภาพจากประโยค เช่น ฉากที่บรรยาย ซึ่งแสดงให้เห็นถึงการสังเคราะห์ที่ตรงไปตรงมาตั้งแต่เนิ่นๆ

การวาดภาพด้วยข้อความ: การมาสก์ส่วนหนึ่งของภาพถ่ายและเติมวัตถุใหม่ที่อธิบายเป็นคำพูด

การแก้ไขรูปภาพที่มีอยู่โดยการเพิ่มหรือแทนที่องค์ประกอบผ่านข้อความแจ้งติดตามผล

ทำหน้าที่เป็นพื้นฐานการวิจัยที่พิสูจน์ว่าคำแนะนำแบบไม่มีตัวแยกประเภทมีมากกว่าคำแนะนำ CLIP สำหรับการจัดตำแหน่ง

อนาคตของโมเดลการแพร่กระจาย GLIDE

GLIDE นั้นมีเนื้อหาทางประวัติศาสตร์เป็นส่วนใหญ่ โดยถูกแทนที่โดย DALL-E 2, Imagen และ Stable Diffusion แต่แนวคิดของมันยังคงมีอยู่ทุกที่ คำแนะนำที่ไม่ต้องใช้ตัวแยกประเภทยังคงเป็นปุ่มเริ่มต้นสำหรับการแลกเปลี่ยนกับความเที่ยงตรงและความหลากหลาย และขณะนี้การวาดภาพด้วยข้อความเป็นมาตรฐานแล้ว ระบบในอนาคตจะคอยปรับปรุงตารางการแนะนำ ลดสิ่งแปลกปลอมที่เป็นสาเหตุของคำแนะนำที่ชัดเจน และขยายหลักการเดียวกันนี้ไปสู่การแพร่กระจายของวิดีโอและ 3 มิติ ดังนั้นอิทธิพลของ GLIDE จึงคงอยู่นานกว่าโมเดล

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
  • สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
  • ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

ระวัง

  • สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
  • ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
  • ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

ขั้นตอนต่อไป

  1. กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
  2. ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
  3. เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
  4. ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the GLIDE Diffusion Model quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

GLIDE Diffusion Model คืออะไร

GLIDE เป็นรูปแบบการแพร่กระจายข้อความเป็นรูปภาพ OpenAI ในยุคแรกๆ ที่แสดงข้อความแจ้งและ 'คำแนะนำแบบไม่มีตัวแยกประเภท' สามารถเอาชนะระบบที่ใช้ GAN รุ่นก่อนๆ ได้ มันเป็นก้าวสำคัญบนเส้นทางสู่ DALL-E 2

GLIDE พบว่าวิธีการแนะนำแบบใดที่ให้ภาพที่ดีกว่าและตรงเวลามากกว่า

GLIDE แสดงให้เห็นว่าคำแนะนำแบบไม่มีตัวแยกประเภทให้ผลลัพธ์ที่สมจริงและสอดคล้องกันมากกว่าคำแนะนำแบบ CLIP

What size did the published full GLIDE base diffusion model have, before counting its upsampler?

The full research model used a 3.5-billion-parameter base diffusion model with a separate upsampling stage.

คำแนะนำแบบไม่มีตัวแยกประเภททำงานอย่างไรในระหว่างการฝึกอบรม

ด้วยการฝึกอบรมทั้งการแจ้งเตือนจริงและว่างเปล่า โมเดลจะเรียนรู้การสร้างที่มีเงื่อนไขและไม่มีเงื่อนไข จากนั้นจึงคาดการณ์ระหว่างสิ่งเหล่านั้นในการสุ่มตัวอย่าง

Which later system describes its diffusion decoder as modifying the GLIDE architecture in the DALL-E 2 research paper?

The paper describes adding CLIP-image conditioning to a modified GLIDE architecture for its unCLIP decoder; this is a concrete architectural relationship.

เหตุใด OpenAI จึงเผยแพร่ GLIDE เวอร์ชันที่เล็กกว่าและกรองออกสู่สาธารณะเท่านั้น

OpenAI ระงับโมเดลฉบับเต็มเนื่องจากข้อกังวลในการใช้งานในทางที่ผิด และเผยแพร่เวอร์ชันที่เล็กกว่าที่ผ่านการกรองแล้วแทน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →