ต่อไปคำแนะนำต่อไป
การประเมินระบบผู้แนะนำ: NDCG อัตราการเข้าชม และอื่นๆ
เทคนิค
คู่มือทางเทคนิค
VBench เป็นชุดมาตรฐานสำหรับโมเดลข้อความเป็นวิดีโอ
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
โดยแบ่งคุณภาพวิดีโอออกเป็น 16 มิติแยกกัน เช่น ความสม่ำเสมอของวัตถุ ความนุ่มนวลของการเคลื่อนไหว ระดับไดนามิก และคุณภาพด้านสุนทรียภาพ และให้คะแนนแต่ละรายการด้วยเครื่องมือประเมินอัตโนมัติโดยเฉพาะ สิ่งนี้สำคัญเนื่องจากตัวเลขเพียงตัวเดียวไม่สามารถแสดงว่าวิดีโอมีความคมชัด ราบรื่น ตรงตามเวลาและเคลื่อนไหวได้จริงหรือไม่ และ VBench จะทำให้มองเห็นข้อดีข้อเสียเหล่านั้นได้
VBench เปิดตัวในช่วงปลายปี 2023 โดยนักวิจัยจาก S-Lab และ Shanghai AI Laboratory ของมหาวิทยาลัยเทคโนโลยีนันยาง และนำเสนอที่งาน CVPR 2024 โดยมีแนวคิดหลักคือการสลายตัว แทนที่จะใช้คะแนนเดียว เช่น FVD (Frechet Video Distance) ระบบจะวัด 16 มิติโดยแบ่งออกเป็นสองกลุ่ม ขนาดคุณภาพวิดีโอจะตัดสินคลิปเอง โดยไม่คำนึงถึงข้อความแจ้ง: ความสอดคล้องของวัตถุ ความสม่ำเสมอของพื้นหลัง การกะพริบชั่วคราว ความนุ่มนวลของการเคลื่อนไหว ระดับไดนามิก คุณภาพด้านสุนทรียะ และคุณภาพของภาพ มิติข้อมูลความสอดคล้องของเงื่อนไขวิดีโอจะตัดสินว่าวิดีโอปฏิบัติตามคำแนะนำได้ดีเพียงใด ได้แก่ คลาสอ็อบเจ็กต์ วัตถุหลายชิ้น การกระทำของมนุษย์ สี ความสัมพันธ์เชิงพื้นที่ ฉาก รูปแบบลักษณะที่ปรากฏ สไตล์ชั่วคราว และความสอดคล้องโดยรวม แต่ละมิติจะมีชุดพร้อมท์ของตนเองและผู้ประเมินเฉพาะทาง ซึ่งโดยปกติจะเป็นแบบจำลองการมองเห็นที่มีอยู่ ความสอดคล้องของหัวเรื่องจะเปรียบเทียบคุณลักษณะของ DINO ในเฟรมต่างๆ ความสอดคล้องของพื้นหลังใช้คุณสมบัติ CLIP องศาไดนามิกใช้การไหลของแสง คุณภาพด้านสุนทรียภาพและการถ่ายภาพใช้ตัวทำนายคุณภาพที่เรียนรู้ และการตรวจสอบวัตถุและสีใช้แบบจำลองการตรวจจับหรือคำอธิบายภาพ ผู้เขียนได้รวบรวมคำอธิบายประกอบตามความชอบของมนุษย์สำหรับแต่ละมิติ และรายงานว่าคะแนนอัตโนมัตินั้นสอดคล้องกับความคิดเห็นเหล่านั้นเป็นอย่างดี การแยกย่อยเผยให้เห็นการแลกเปลี่ยนที่ซ่อนไว้ทั้งหมด วิดีโอที่เกือบหยุดนิ่งสามารถให้คะแนนได้ดีมากในด้านความสม่ำเสมอและความราบรื่น ในขณะที่ได้คะแนนต่ำในระดับไดนามิก ดังนั้นการอ่านเฉพาะค่าเฉลี่ยเท่านั้นจึงจะให้รางวัลแก่โมเดลที่ขี้กลัวได้ ผลรวมของ VBench ไม่ใช่การจัดอันดับโมเดลวิดีโอโดยสมบูรณ์ มันสะท้อนถึงการแจ้งเตือน ผู้ประเมิน และน้ำหนักที่เลือก งานต่อมาได้ขยายห้องชุดออกไป VBench++ เพิ่มการประเมินความน่าเชื่อถือจากภาพสู่วิดีโอ และ VBench-2.0 กำหนดเป้าหมายคุณสมบัติที่ลึกกว่า เช่น ฟิสิกส์ สามัญสำนึก และกายวิภาคของมนุษย์ เวทีสาธารณะที่ผู้คนลงคะแนนระหว่างคลิปที่ไม่ระบุชื่อสองคลิปจากข้อความแจ้งเดียวกัน จะบันทึกความชอบโดยรวม รวมถึงคุณสมบัติต่างๆ เช่น การเคลื่อนไหวที่เป็นไปได้ทางกายภาพ ซึ่งผู้ประเมินอัตโนมัติยังไม่สามารถวัดได้อย่างน่าเชื่อถือ
ห้องปฏิบัติการที่เผยแพร่โมเดลวิดีโอแบบเปิดจะรายงานผลรวมของ VBench และรายละเอียดตามมิติข้อมูล รายละเอียดแสดงให้เห็นว่ามีคุณภาพการถ่ายภาพ แต่ยังคงติดตามในระดับไดนามิก
นักพัฒนาซอฟต์แวร์เปรียบเทียบการตั้งค่าตัวอย่างสองรายการ และพบว่าการใช้ขั้นตอนน้อยลงจะลดความราบรื่นของการเคลื่อนไหวและคะแนนการกะพริบของเวลาลง นั่นเป็นแนวทางในการเลือกระหว่างความเร็วและคุณภาพ
API วิดีโอที่คัดเลือกโดยทีมผลิตภัณฑ์จะรวมหมายเลข VBench เข้ากับผลลัพธ์จากเวทีการโหวตโดยมนุษย์ เนื่องจากผู้ใช้ให้ความสำคัญกับฟิสิกส์และผู้คนที่สมจริงมากที่สุด
นักวิจัยเห็นว่าแบบจำลองให้คะแนนสูงมากในเรื่องความสอดคล้องของวัตถุและพื้นหลังขณะเดียวกันก็สร้างคลิปที่เกือบจะคงที่ พวกเขาตรวจสอบมิติองศาไดนามิกเพื่อยืนยัน
การประเมินด้วยวิดีโอกำลังเปลี่ยนจากคุณภาพพื้นผิวไปสู่โลกที่สร้างขึ้นว่ามีพฤติกรรมที่น่าเชื่อถือหรือไม่ เช่น วัตถุที่คงสถานะของแข็ง แรงโน้มถ่วงที่ทำงาน และมือที่รักษาจำนวนนิ้วที่ถูกต้อง เกณฑ์มาตรฐาน เช่น VBench-2.0 และชุดการทดสอบที่เน้นฟิสิกส์มุ่งเป้าไปที่สิ่งนี้ โดยมักจะมีแบบจำลองภาษาหลายรูปแบบเป็นตัวตัดสิน ซึ่งทำให้เกิดคำถามใหม่เกี่ยวกับความน่าเชื่อถือของกรรมการเหล่านั้น คลิปที่ยาวขึ้น การควบคุมเสียงและกล้องยังต้องการเมตริกที่ชุดปัจจุบันครอบคลุมเพียงบางส่วนเท่านั้น เวทีของมนุษย์มีแนวโน้มที่จะยังคงมีความสำคัญเนื่องจากยึดตามความชอบโดยรวม แต่มีราคาแพง อ่อนไหวต่อการนำเสนอ และทำซ้ำได้ยาก ดังนั้นสนามนี้จึงมีแนวโน้มที่จะใช้ทั้งสองแนวทางต่อไป
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
VBench เป็นชุดมาตรฐานสำหรับโมเดลข้อความเป็นวิดีโอ โดยแบ่งคุณภาพวิดีโอออกเป็น 16 มิติแยกกัน เช่น ความสม่ำเสมอของวัตถุ ความนุ่มนวลของการเคลื่อนไหว ระดับไดนามิก และคุณภาพด้านสุนทรียภาพ และให้คะแนนแต่ละรายการด้วยเครื่องมือประเมินอัตโนมัติโดยเฉพาะ สิ่งนี้สำคัญเนื่องจากตัวเลขเพียงตัวเดียวไม่สามารถแสดงว่าวิดีโอมีความคมชัด ราบรื่น ตรงตามเวลาและเคลื่อนไหวได้จริงหรือไม่ และ VBench จะทำให้มองเห็นข้อดีข้อเสียเหล่านั้นได้
VBench แบ่งคุณภาพการสร้างวิดีโอออกเป็น 16 มิติ โดยจัดกลุ่มตามคุณภาพวิดีโอและความสม่ำเสมอของสภาพวิดีโอ
ระดับไดนามิกใช้การไหลของแสงเพื่อวัดปริมาณการเคลื่อนไหวในวิดีโอ คลิปที่หยุดนิ่งได้คะแนนต่ำที่นี่ แม้ว่าจะมีคะแนนสูงในด้านความสม่ำเสมอก็ตาม
ความสอดคล้องของวัตถุจะเปรียบเทียบคุณลักษณะ DINO ของวัตถุในเฟรมต่างๆ เพื่อตรวจสอบว่าวัตถุนั้นยังคงรูปลักษณ์เดิมไว้หรือไม่
ขนาดคุณภาพวิดีโอจะตัดสินคลิปโดยไม่คำนึงถึงข้อความแจ้ง ในขณะที่ขนาดความสอดคล้องของสภาพวิดีโอจะตัดสินว่าวิดีโอปฏิบัติตามข้อความแจ้งได้ดีเพียงใด
มิติข้อมูลเฉลี่ยทั้งหมดที่แลกเปลี่ยนกัน ความสม่ำเสมอสูงสามารถซ่อนการเคลื่อนไหวต่ำได้ ดังนั้นผลลัพธ์ต่อมิติจึงมีความสำคัญ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การประเมินระบบผู้แนะนำ: NDCG อัตราการเข้าชม และอื่นๆ
เทคนิค