ต่อไปคำแนะนำต่อไป
การถอดรหัสแบบขนานโครงกระดูกของความคิด
ภาษาเอไอ
คู่มือ AI แบบเห็นภาพ
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
Confidence is a model score used for selection, not a guarantee that a token is correct.
MaskGIT (Masked Generative Image Transformer), from Google in 2022, rethinks how token-based image models decode. Earlier transformers such as VQGAN generate tokens autoregressively, one at a time in raster order. MaskGIT instead trains with a masked modeling objective like BERT: random subsets of image tokens are hidden and the model learns to predict them simultaneously using bidirectional attention. At generation time it starts from a masked grid and decodes over a configured number of refinement iterations; the original paper reports examples using roughly 8 to 12 steps, but the count depends on the setup rather than defining the algorithm. Each step predicts masked tokens, keeps selected high-confidence predictions, and re-masks other positions. Confidence ranks candidates for the next iteration; it does not prove a prediction is correct.
การสร้างภาพเต็มในขั้นตอนคู่ขนานประมาณ 8 ถึง 12 ขั้นตอน แทนที่จะใช้การคาดการณ์โทเค็นแบบถดถอยอัตโนมัติหลายร้อยรายการ
วาดภาพบริเวณที่ปกปิดของภาพถ่ายโดยทำนายเฉพาะโทเค็นที่ซ่อนอยู่พร้อมกับบริบทโดยรอบอีกครั้ง
การสังเคราะห์ภาพแบบมีเงื่อนไขระดับบน ImageNet ที่มีคุณภาพสามารถแข่งขันกับรุ่นที่ช้ากว่ามาก
ทำหน้าที่เป็นแกนหลักในการถอดรหัสสำหรับระบบข้อความเป็นรูปภาพ เช่น MUSE ของ Google ที่ต้องการการสร้างที่รวดเร็ว
MaskGIT's parallel iterative decoding inspired a wave of non-autoregressive generators, including MUSE for text-to-image and masked approaches for video. รูปแบบการทำนายโทเค็นแบบขนานและการปรับแต่งในไม่กี่ขั้นตอน อยู่ระหว่าง one-shot GAN และการแพร่กระจายหลายขั้นตอน ซึ่งนำเสนอการแลกเปลี่ยนความเร็วคุณภาพที่ปรับแต่งได้ คาดว่าการถอดรหัสโทเค็นที่สวมหน้ากากจะยังคงปรากฏในตัวสร้างหลายรูปแบบที่รวดเร็วและระบบการแก้ไขที่การเติมสีในภาพวาดและการเติมแบบมีเงื่อนไขเข้ากันได้อย่างเป็นธรรมชาติ
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations. Confidence is a model score used for selection, not a guarantee that a token is correct.
MaskGIT ทำนายโทเค็นที่สวมหน้ากากทั้งหมดพร้อมกันโดยมีความสนใจแบบสองทิศทาง ซึ่งแตกต่างจากการถอดรหัสอัตโนมัติแบบถอยอัตโนมัติจากซ้ายไปขวาที่ช้าของ VQGAN
MaskGIT ซ่อนเซ็ตย่อยของโทเค็นแบบสุ่มและเรียนรู้ที่จะทำนายพวกมัน ซึ่งเป็นวัตถุประสงค์ในการสร้างแบบจำลองที่ปกปิดซึ่งคล้ายกับ BERT
ในการวนซ้ำแต่ละครั้ง MaskGIT จะรักษาการคาดการณ์ด้วยความเชื่อมั่นของโมเดลสูงสุดและมาสก์ตำแหน่งอื่นๆ อีกครั้ง ความมั่นใจเป็นสัญญาณการจัดอันดับสำหรับการเลือกโทเค็น ไม่ใช่การพิสูจน์ว่าโทเค็นที่เลือกแต่ละรายการนั้นถูกต้อง
คู่มือนี้อ้างอิงขั้นตอนประมาณ 8 ถึง 12 ขั้นตอนเพื่อเป็นตัวอย่างจากการตั้งค่าการสร้างภาพของกระดาษต้นฉบับ การนับขึ้นอยู่กับการกำหนดค่ามากกว่าข้อกำหนดสากล
กำหนดการโคไซน์เผยให้เห็นโทเค็นไม่กี่รายการตั้งแต่เนิ่นๆ และหลังจากนั้น ทำให้คุณภาพและความเร็วสมดุลกันในการวนซ้ำ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การถอดรหัสแบบขนานโครงกระดูกของความคิด
ภาษาเอไอ