คู่มือทางเทคนิค

การประเมินเครื่องสร้างวิดีโอ AI ด้วย VBench

VBench เป็นชุดมาตรฐานสำหรับโมเดลข้อความเป็นวิดีโอ

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการประเมินเครื่องสร้างวิดีโอ AI ด้วย VBench
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

โดยแบ่งคุณภาพวิดีโอออกเป็น 16 มิติแยกกัน เช่น ความสม่ำเสมอของวัตถุ ความนุ่มนวลของการเคลื่อนไหว ระดับไดนามิก และคุณภาพด้านสุนทรียภาพ และให้คะแนนแต่ละรายการด้วยเครื่องมือประเมินอัตโนมัติโดยเฉพาะ สิ่งนี้สำคัญเนื่องจากตัวเลขเพียงตัวเดียวไม่สามารถแสดงว่าวิดีโอมีความคมชัด ราบรื่น ตรงตามเวลาและเคลื่อนไหวได้จริงหรือไม่ และ VBench จะทำให้มองเห็นข้อดีข้อเสียเหล่านั้นได้

เจาะลึก

VBench เปิดตัวในช่วงปลายปี 2023 โดยนักวิจัยจาก S-Lab และ Shanghai AI Laboratory ของมหาวิทยาลัยเทคโนโลยีนันยาง และนำเสนอที่งาน CVPR 2024 โดยมีแนวคิดหลักคือการสลายตัว แทนที่จะใช้คะแนนเดียว เช่น FVD (Frechet Video Distance) ระบบจะวัด 16 มิติโดยแบ่งออกเป็นสองกลุ่ม ขนาดคุณภาพวิดีโอจะตัดสินคลิปเอง โดยไม่คำนึงถึงข้อความแจ้ง: ความสอดคล้องของวัตถุ ความสม่ำเสมอของพื้นหลัง การกะพริบชั่วคราว ความนุ่มนวลของการเคลื่อนไหว ระดับไดนามิก คุณภาพด้านสุนทรียะ และคุณภาพของภาพ มิติข้อมูลความสอดคล้องของเงื่อนไขวิดีโอจะตัดสินว่าวิดีโอปฏิบัติตามคำแนะนำได้ดีเพียงใด ได้แก่ คลาสอ็อบเจ็กต์ วัตถุหลายชิ้น การกระทำของมนุษย์ สี ความสัมพันธ์เชิงพื้นที่ ฉาก รูปแบบลักษณะที่ปรากฏ สไตล์ชั่วคราว และความสอดคล้องโดยรวม แต่ละมิติจะมีชุดพร้อมท์ของตนเองและผู้ประเมินเฉพาะทาง ซึ่งโดยปกติจะเป็นแบบจำลองการมองเห็นที่มีอยู่ ความสอดคล้องของหัวเรื่องจะเปรียบเทียบคุณลักษณะของ DINO ในเฟรมต่างๆ ความสอดคล้องของพื้นหลังใช้คุณสมบัติ CLIP องศาไดนามิกใช้การไหลของแสง คุณภาพด้านสุนทรียภาพและการถ่ายภาพใช้ตัวทำนายคุณภาพที่เรียนรู้ และการตรวจสอบวัตถุและสีใช้แบบจำลองการตรวจจับหรือคำอธิบายภาพ ผู้เขียนได้รวบรวมคำอธิบายประกอบตามความชอบของมนุษย์สำหรับแต่ละมิติ และรายงานว่าคะแนนอัตโนมัตินั้นสอดคล้องกับความคิดเห็นเหล่านั้นเป็นอย่างดี การแยกย่อยเผยให้เห็นการแลกเปลี่ยนที่ซ่อนไว้ทั้งหมด วิดีโอที่เกือบหยุดนิ่งสามารถให้คะแนนได้ดีมากในด้านความสม่ำเสมอและความราบรื่น ในขณะที่ได้คะแนนต่ำในระดับไดนามิก ดังนั้นการอ่านเฉพาะค่าเฉลี่ยเท่านั้นจึงจะให้รางวัลแก่โมเดลที่ขี้กลัวได้ ผลรวมของ VBench ไม่ใช่การจัดอันดับโมเดลวิดีโอโดยสมบูรณ์ มันสะท้อนถึงการแจ้งเตือน ผู้ประเมิน และน้ำหนักที่เลือก งานต่อมาได้ขยายห้องชุดออกไป VBench++ เพิ่มการประเมินความน่าเชื่อถือจากภาพสู่วิดีโอ และ VBench-2.0 กำหนดเป้าหมายคุณสมบัติที่ลึกกว่า เช่น ฟิสิกส์ สามัญสำนึก และกายวิภาคของมนุษย์ เวทีสาธารณะที่ผู้คนลงคะแนนระหว่างคลิปที่ไม่ระบุชื่อสองคลิปจากข้อความแจ้งเดียวกัน จะบันทึกความชอบโดยรวม รวมถึงคุณสมบัติต่างๆ เช่น การเคลื่อนไหวที่เป็นไปได้ทางกายภาพ ซึ่งผู้ประเมินอัตโนมัติยังไม่สามารถวัดได้อย่างน่าเชื่อถือ

การใช้งานจริงในโลกแห่งความเป็นจริง

ห้องปฏิบัติการที่เผยแพร่โมเดลวิดีโอแบบเปิดจะรายงานผลรวมของ VBench และรายละเอียดตามมิติข้อมูล รายละเอียดแสดงให้เห็นว่ามีคุณภาพการถ่ายภาพ แต่ยังคงติดตามในระดับไดนามิก

นักพัฒนาซอฟต์แวร์เปรียบเทียบการตั้งค่าตัวอย่างสองรายการ และพบว่าการใช้ขั้นตอนน้อยลงจะลดความราบรื่นของการเคลื่อนไหวและคะแนนการกะพริบของเวลาลง นั่นเป็นแนวทางในการเลือกระหว่างความเร็วและคุณภาพ

API วิดีโอที่คัดเลือกโดยทีมผลิตภัณฑ์จะรวมหมายเลข VBench เข้ากับผลลัพธ์จากเวทีการโหวตโดยมนุษย์ เนื่องจากผู้ใช้ให้ความสำคัญกับฟิสิกส์และผู้คนที่สมจริงมากที่สุด

นักวิจัยเห็นว่าแบบจำลองให้คะแนนสูงมากในเรื่องความสอดคล้องของวัตถุและพื้นหลังขณะเดียวกันก็สร้างคลิปที่เกือบจะคงที่ พวกเขาตรวจสอบมิติองศาไดนามิกเพื่อยืนยัน

อนาคตของการประเมินเครื่องสร้างวิดีโอ AI ด้วย VBench

การประเมินด้วยวิดีโอกำลังเปลี่ยนจากคุณภาพพื้นผิวไปสู่โลกที่สร้างขึ้นว่ามีพฤติกรรมที่น่าเชื่อถือหรือไม่ เช่น วัตถุที่คงสถานะของแข็ง แรงโน้มถ่วงที่ทำงาน และมือที่รักษาจำนวนนิ้วที่ถูกต้อง เกณฑ์มาตรฐาน เช่น VBench-2.0 และชุดการทดสอบที่เน้นฟิสิกส์มุ่งเป้าไปที่สิ่งนี้ โดยมักจะมีแบบจำลองภาษาหลายรูปแบบเป็นตัวตัดสิน ซึ่งทำให้เกิดคำถามใหม่เกี่ยวกับความน่าเชื่อถือของกรรมการเหล่านั้น คลิปที่ยาวขึ้น การควบคุมเสียงและกล้องยังต้องการเมตริกที่ชุดปัจจุบันครอบคลุมเพียงบางส่วนเท่านั้น เวทีของมนุษย์มีแนวโน้มที่จะยังคงมีความสำคัญเนื่องจากยึดตามความชอบโดยรวม แต่มีราคาแพง อ่อนไหวต่อการนำเสนอ และทำซ้ำได้ยาก ดังนั้นสนามนี้จึงมีแนวโน้มที่จะใช้ทั้งสองแนวทางต่อไป

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Evaluating AI Video Generators with VBench quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การประเมิน AI Video Generators ด้วย VBench คืออะไร

VBench เป็นชุดมาตรฐานสำหรับโมเดลข้อความเป็นวิดีโอ โดยแบ่งคุณภาพวิดีโอออกเป็น 16 มิติแยกกัน เช่น ความสม่ำเสมอของวัตถุ ความนุ่มนวลของการเคลื่อนไหว ระดับไดนามิก และคุณภาพด้านสุนทรียภาพ และให้คะแนนแต่ละรายการด้วยเครื่องมือประเมินอัตโนมัติโดยเฉพาะ สิ่งนี้สำคัญเนื่องจากตัวเลขเพียงตัวเดียวไม่สามารถแสดงว่าวิดีโอมีความคมชัด ราบรื่น ตรงตามเวลาและเคลื่อนไหวได้จริงหรือไม่ และ VBench จะทำให้มองเห็นข้อดีข้อเสียเหล่านั้นได้

VBench ดั้งเดิมกำหนดมิติการประเมินจำนวนเท่าใด

VBench แบ่งคุณภาพการสร้างวิดีโอออกเป็น 16 มิติ โดยจัดกลุ่มตามคุณภาพวิดีโอและความสม่ำเสมอของสภาพวิดีโอ

มิติข้อมูลใดที่จะเปิดเผยว่าโมเดลสร้างวิดีโอที่เกือบจะเป็นภาพนิ่ง

ระดับไดนามิกใช้การไหลของแสงเพื่อวัดปริมาณการเคลื่อนไหวในวิดีโอ คลิปที่หยุดนิ่งได้คะแนนต่ำที่นี่ แม้ว่าจะมีคะแนนสูงในด้านความสม่ำเสมอก็ตาม

VBench ใช้อะไรในการวัดความสอดคล้องของวัตถุในเฟรมต่างๆ

ความสอดคล้องของวัตถุจะเปรียบเทียบคุณลักษณะ DINO ของวัตถุในเฟรมต่างๆ เพื่อตรวจสอบว่าวัตถุนั้นยังคงรูปลักษณ์เดิมไว้หรือไม่

สองตระกูลใดจัดกลุ่มมิติของ VBench

ขนาดคุณภาพวิดีโอจะตัดสินคลิปโดยไม่คำนึงถึงข้อความแจ้ง ในขณะที่ขนาดความสอดคล้องของสภาพวิดีโอจะตัดสินว่าวิดีโอปฏิบัติตามข้อความแจ้งได้ดีเพียงใด

เหตุใดการอ่านเฉพาะคะแนนรวมของ VBench จึงทำให้เข้าใจผิดได้

มิติข้อมูลเฉลี่ยทั้งหมดที่แลกเปลี่ยนกัน ความสม่ำเสมอสูงสามารถซ่อนการเคลื่อนไหวต่ำได้ ดังนั้นผลลัพธ์ต่อมิติจึงมีความสำคัญ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →