คู่มือ AI แบบเห็นภาพ
สร้าง-A-Video ข้อความเป็นวิดีโอ
Make-A-Video คือระบบปี 2022 ของ Meta ที่เปลี่ยนข้อความแจ้งเป็นคลิปวิดีโอสั้นโดยไม่ต้องฝึกคู่ข้อความ-วิดีโอที่มีป้ายกำกับเลย
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
เจาะลึก
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างภาพเคลื่อนไหวประโยคอธิบายเพียงประโยคเดียวให้เป็นคลิปวนซ้ำสั้นๆ สำหรับโพสต์บนโซเชียลมีเดีย
นำแนวคิดแบบคงที่ เช่น 'ตุ๊กตาหมีวาดภาพบุคคล' มาสู่ชีวิตในรูปแบบภาพประกอบที่เคลื่อนไหวได้
การสอดแทรกระหว่างภาพนิ่งสองภาพที่ผู้ใช้ให้มาเพื่อสร้างวิดีโอการเปลี่ยนผ่านที่ราบรื่น
การสร้างภาพร่างของฉากที่จินตนาการไว้อย่างรวดเร็วสำหรับการทำสตอรี่บอร์ดก่อนการถ่ายทำใดๆ
อนาคตของการแปลงข้อความเป็นวิดีโอ Make-A-Video
สูตรภาพเคลื่อนไหวก่อนบวกไม่มีป้ายกำกับของ Make-A-Video ทำให้เกิดคลื่นข้อความเป็นวิดีโอทั้งหมด รุ่นต่อๆ ไปเน้นที่คลิปที่ยาวขึ้น มีความละเอียดสูงกว่า และมีเสถียรภาพชั่วคราว พร้อมด้วยการเคลื่อนไหวและเสียงของกล้องที่ควบคุมได้ คาดหวังว่าแนวคิดหลักคือการนำความรู้เกี่ยวกับภาพขนาดใหญ่และการเรียนรู้การเคลื่อนไหวในราคาถูกกลับมาใช้ใหม่ จะยังคงมีอยู่แม้ในขณะที่สถาปัตยกรรมเปลี่ยนไปสู่การแพร่กระจายแฝงที่อิงหม้อแปลงและโมเดลแบบครบวงจรที่ยังยอมรับการปรับสภาพภาพหรือวิดีโอสำหรับการแก้ไขและดำเนินการต่อ
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
- สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
- ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
ระวัง
- สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
- ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
- ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
ขั้นตอนต่อไป
- กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
- ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
- เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
- ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Make-A-Video Text-to-Video quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Make-A-Video Text-to-Video?
Make-A-Video คือระบบปี 2022 ของ Meta ที่เปลี่ยนข้อความแจ้งเป็นคลิปวิดีโอสั้นโดยไม่ต้องฝึกคู่ข้อความ-วิดีโอที่มีป้ายกำกับเลย สิ่งสำคัญเพราะมันแสดงให้เห็นว่าความรู้ด้านภาพภายในโมเดลข้อความเป็นรูปภาพสามารถ 'สอน' เพื่อย้ายโดยใช้วิดีโอที่ไม่มีป้ายกำกับเท่านั้น
นวัตกรรมหลักที่ช่วยให้ Make-A-Video ไม่ต้องใช้คู่ข้อความ-วิดีโอที่มีป้ายกำกับคืออะไร
Make-A-Video แยกปัญหาออก: โมเดลข้อความเป็นรูปภาพจะเรียนรู้ว่าสิ่งต่างๆ มีลักษณะอย่างไรจากรูปภาพที่มีคำอธิบายภาพ ในขณะที่เลเยอร์ชั่วคราวที่แยกจากกันจะเรียนรู้การเคลื่อนไหวจากวิดีโอดิบที่ไม่มีป้ายกำกับ
Make-A-Video เพิ่มความสามารถในการเคลื่อนไหวให้กับโมเดลรูปภาพได้อย่างไร
ขยายขอบเขตความสนใจและมิติเชิงพื้นที่ 2 มิติด้วยเลเยอร์ชั่วคราวใหม่ที่เรียนรู้ว่าเนื้อหาเปลี่ยนแปลงไปอย่างไรเมื่อเวลาผ่านไป
ขั้นตอนการแก้ไขเฟรมและขั้นตอนความละเอียดสูงพิเศษทำหน้าที่อะไร
หลังจากแบบร่างที่มีความละเอียดต่ำและอัตราเฟรมต่ำแบบหยาบ การแก้ไขจะเพิ่มเฟรมและโมดูลความละเอียดสูงพิเศษจะเพิ่มความละเอียด
อะไรคือข้อจำกัดโดยทั่วไปของเอาต์พุตของ Make-A-Video
คลิปใช้เวลาเพียงไม่กี่วินาที มีความละเอียดค่อนข้างต่ำ และมีแนวโน้มที่จะเกิดการสั่นไหวและการบิดเบี้ยวชั่วคราว
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้