คู่มือ AI แบบเห็นภาพ

การถอดรหัสโทเค็น MaskGIT แบบขนาน

MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการถอดรหัสโทเค็นแบบขนาน MaskGIT
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Confidence is a model score used for selection, not a guarantee that a token is correct.

เจาะลึก

MaskGIT (Masked Generative Image Transformer), from Google in 2022, rethinks how token-based image models decode. Earlier transformers such as VQGAN generate tokens autoregressively, one at a time in raster order. MaskGIT instead trains with a masked modeling objective like BERT: random subsets of image tokens are hidden and the model learns to predict them simultaneously using bidirectional attention. At generation time it starts from a masked grid and decodes over a configured number of refinement iterations; the original paper reports examples using roughly 8 to 12 steps, but the count depends on the setup rather than defining the algorithm. Each step predicts masked tokens, keeps selected high-confidence predictions, and re-masks other positions. Confidence ranks candidates for the next iteration; it does not prove a prediction is correct.

การใช้งานจริงในโลกแห่งความเป็นจริง

การสร้างภาพเต็มในขั้นตอนคู่ขนานประมาณ 8 ถึง 12 ขั้นตอน แทนที่จะใช้การคาดการณ์โทเค็นแบบถดถอยอัตโนมัติหลายร้อยรายการ

วาดภาพบริเวณที่ปกปิดของภาพถ่ายโดยทำนายเฉพาะโทเค็นที่ซ่อนอยู่พร้อมกับบริบทโดยรอบอีกครั้ง

การสังเคราะห์ภาพแบบมีเงื่อนไขระดับบน ImageNet ที่มีคุณภาพสามารถแข่งขันกับรุ่นที่ช้ากว่ามาก

ทำหน้าที่เป็นแกนหลักในการถอดรหัสสำหรับระบบข้อความเป็นรูปภาพ เช่น MUSE ของ Google ที่ต้องการการสร้างที่รวดเร็ว

อนาคตของการถอดรหัสโทเค็นแบบขนาน MaskGIT

MaskGIT's parallel iterative decoding inspired a wave of non-autoregressive generators, including MUSE for text-to-image and masked approaches for video. รูปแบบการทำนายโทเค็นแบบขนานและการปรับแต่งในไม่กี่ขั้นตอน อยู่ระหว่าง one-shot GAN และการแพร่กระจายหลายขั้นตอน ซึ่งนำเสนอการแลกเปลี่ยนความเร็วคุณภาพที่ปรับแต่งได้ คาดว่าการถอดรหัสโทเค็นที่สวมหน้ากากจะยังคงปรากฏในตัวสร้างหลายรูปแบบที่รวดเร็วและระบบการแก้ไขที่การเติมสีในภาพวาดและการเติมแบบมีเงื่อนไขเข้ากันได้อย่างเป็นธรรมชาติ

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
  • สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
  • ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

ระวัง

  • สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
  • ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
  • ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

ขั้นตอนต่อไป

  1. กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
  2. ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
  3. เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
  4. ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the MaskGIT Parallel Token Decoding quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is MaskGIT Parallel Token Decoding?

MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations. Confidence is a model score used for selection, not a guarantee that a token is correct.

MaskGIT ถอดรหัสโทเค็นรูปภาพแตกต่างจากหม้อแปลงของ VQGAN อย่างไร

MaskGIT ทำนายโทเค็นที่สวมหน้ากากทั้งหมดพร้อมกันโดยมีความสนใจแบบสองทิศทาง ซึ่งแตกต่างจากการถอดรหัสอัตโนมัติแบบถอยอัตโนมัติจากซ้ายไปขวาที่ช้าของ VQGAN

MaskGIT ยืมวัตถุประสงค์การฝึกอบรมอะไรมาจากโมเดลภาษา

MaskGIT ซ่อนเซ็ตย่อยของโทเค็นแบบสุ่มและเรียนรู้ที่จะทำนายพวกมัน ซึ่งเป็นวัตถุประสงค์ในการสร้างแบบจำลองที่ปกปิดซึ่งคล้ายกับ BERT

ในระหว่างการสร้าง MaskGIT จะใช้โทเค็นใดในการวนซ้ำแต่ละครั้ง

ในการวนซ้ำแต่ละครั้ง MaskGIT จะรักษาการคาดการณ์ด้วยความเชื่อมั่นของโมเดลสูงสุดและมาสก์ตำแหน่งอื่นๆ อีกครั้ง ความมั่นใจเป็นสัญญาณการจัดอันดับสำหรับการเลือกโทเค็น ไม่ใช่การพิสูจน์ว่าโทเค็นที่เลือกแต่ละรายการนั้นถูกต้อง

ในตัวอย่างการสร้าง MaskGIT ดั้งเดิม มักใช้การปรับปรุงซ้ำประมาณกี่ครั้ง

คู่มือนี้อ้างอิงขั้นตอนประมาณ 8 ถึง 12 ขั้นตอนเพื่อเป็นตัวอย่างจากการตั้งค่าการสร้างภาพของกระดาษต้นฉบับ การนับขึ้นอยู่กับการกำหนดค่ามากกว่าข้อกำหนดสากล

ตารางใดควบคุมจำนวนโทเค็นที่ MaskGIT เปิดเผยแต่ละขั้นตอน

กำหนดการโคไซน์เผยให้เห็นโทเค็นไม่กี่รายการตั้งแต่เนิ่นๆ และหลังจากนั้น ทำให้คุณภาพและความเร็วสมดุลกันในการวนซ้ำ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →