การแพร่กระจายวิดีโอที่เสถียร

It matters because it brought capable, openly available image-to-video generation to researchers and creators instead of locking it behind closed APIs.

Stable Video Diffusion เปิดตัวโดย Stability AI ในปลายปี 2023 โดยขยายสถาปัตยกรรม Stable Diffusion ที่ใช้รูปภาพไปสู่มิติเวลา โดยเริ่มต้นจากโมเดลรูปภาพที่ได้รับการฝึกมาแล้ว และแทรกเลเยอร์ชั่วคราวเพื่อเรียนรู้ว่าพิกเซลควรพัฒนาไปทีละเฟรมอย่างไร ดังนั้นการเคลื่อนไหวจึงมีความสม่ำเสมอมากกว่าการกะพริบ ทีมงานเน้นย้ำถึงสูตรสามขั้นตอนที่ระมัดระวัง ได้แก่ การฝึกภาพล่วงหน้า จากนั้นการฝึกวิดีโอล่วงหน้าบนชุดข้อมูลวิดีโอที่ได้รับการดูแลจัดการขนาดใหญ่ จากนั้น การปรับแต่งคุณภาพสูงบนชุดที่ขัดเกลาขนาดเล็กกว่า จุดตรวจสาธารณะสร้างประมาณ 14 ถึง 25 เฟรม เนื่องจากมีการเปิดเผยน้ำหนักอย่างเปิดเผย SVD จึงกลายเป็น Launchpad สำหรับชุมชนในการสร้างการควบคุมการเคลื่อนไหวของกล้อง คลิปที่ยาวขึ้น และรูปแบบที่ได้รับการปรับแต่ง ซึ่งจะช่วยเร่งการวิจัยการสร้างวิดีโอแบบเปิด