HƯỚNG DẪN KỸ THUẬT

Đánh giá trình tạo video AI bằng VBench

VBench là bộ công cụ chuẩn dành cho các mô hình chuyển văn bản thành video.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc đánh giá các trình tạo video AI bằng VBench
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó chia chất lượng video thành 16 khía cạnh riêng biệt, chẳng hạn như tính nhất quán của chủ đề, độ mượt của chuyển động, mức độ động và chất lượng thẩm mỹ, đồng thời chấm điểm từng khía cạnh bằng một bộ đánh giá tự động chuyên dụng. Điều này quan trọng vì một con số không thể cho biết video có sắc nét, mượt mà, trung thực với lời nhắc và thực sự chuyển động hay không và VBench giúp hiển thị những sự đánh đổi đó.

Lặn sâu

VBench được giới thiệu vào cuối năm 2023 bởi các nhà nghiên cứu từ Phòng thí nghiệm S-Lab và Phòng thí nghiệm AI Thượng Hải của Đại học Công nghệ Nanyang, đồng thời được trình bày tại CVPR 2024. Ý tưởng cốt lõi của nó là phân rã. Thay vì một điểm như FVD (Khoảng cách video Frechet), nó đo 16 chiều được nhóm thành hai họ. Các kích thước chất lượng video tự đánh giá clip, bất kể lời nhắc: tính nhất quán của chủ đề, tính nhất quán của nền, độ nhấp nháy theo thời gian, độ mượt của chuyển động, mức độ động, chất lượng thẩm mỹ và chất lượng hình ảnh. Các chiều hướng nhất quán về điều kiện video đánh giá xem video tuân theo lời nhắc của nó tốt như thế nào: lớp đối tượng, nhiều đối tượng, hành động của con người, màu sắc, mối quan hệ không gian, cảnh, phong cách xuất hiện, phong cách thời gian và tính nhất quán tổng thể. Mỗi chiều có bộ nhắc nhở riêng và bộ đánh giá chuyên biệt, thường là mô hình tầm nhìn hiện có. Tính nhất quán của chủ đề so sánh các tính năng DINO trên các khung. Tính nhất quán của nền sử dụng các tính năng CLIP. Mức độ động sử dụng dòng quang. Chất lượng thẩm mỹ và hình ảnh sử dụng các yếu tố dự đoán chất lượng đã học, đồng thời kiểm tra đối tượng và màu sắc sử dụng các mô hình phát hiện hoặc chú thích. Các tác giả đã thu thập các chú thích về sở thích của con người cho từng khía cạnh và báo cáo rằng điểm số tự động rất phù hợp với chúng. Sự phân tích cho thấy sự đánh đổi mà tổng thể che giấu. Một video gần như bị đóng băng có thể đạt điểm rất cao về tính nhất quán và độ mượt trong khi lại đạt điểm kém ở mức độ động, do đó, chỉ đọc ở mức trung bình có thể khen thưởng những người mẫu nhút nhát. Tổng số VBench không phải là bảng xếp hạng đầy đủ các mô hình video; nó phản ánh các lời nhắc, người đánh giá và trọng số đã chọn. Công việc sau đó đã mở rộng bộ sản phẩm. VBench++ đã bổ sung thêm tính năng đánh giá độ tin cậy và hình ảnh trên video, còn VBench-2.0 nhắm đến các thuộc tính sâu hơn như vật lý, kiến ​​thức thông thường và giải phẫu con người. Đấu trường công cộng, nơi mọi người bỏ phiếu giữa hai clip ẩn danh từ cùng một lời nhắc, nắm bắt được sở thích chung, bao gồm các phẩm chất như chuyển động hợp lý về mặt vật lý mà các máy đánh giá tự động vẫn chưa đo lường được một cách đáng tin cậy.

Triển khai trong thế giới thực

Một phòng thí nghiệm phát hành mô hình video mở sẽ báo cáo tổng số VBench và phân tích theo kích thước. Phân tích cho thấy nó dẫn đầu về chất lượng hình ảnh nhưng lại kém về mức độ động.

Một nhà phát triển so sánh hai cài đặt bộ lấy mẫu và nhận thấy rằng việc sử dụng ít bước hơn sẽ làm giảm độ mượt của chuyển động và điểm nhấp nháy theo thời gian. Điều đó hướng dẫn họ lựa chọn giữa tốc độ và chất lượng.

Các API video trong danh sách rút gọn của nhóm sản phẩm kết hợp số VBench với kết quả từ đấu trường bỏ phiếu công khai của con người, bởi vì người dùng của họ quan tâm nhất đến vật lý thực tế và con người.

Một nhà nghiên cứu nhận thấy một người mẫu đạt điểm rất cao về tính nhất quán của chủ đề và nền trong khi tạo ra các clip gần như tĩnh. Họ kiểm tra kích thước mức độ động để xác nhận nó.

Tương lai của việc đánh giá các trình tạo video AI bằng VBench

Việc đánh giá video đang chuyển từ chất lượng bề mặt sang liệu các thế giới được tạo ra có hoạt động hợp lý hay không: các vật thể ở trạng thái rắn, trọng lực hoạt động và bàn tay giữ đúng số lượng ngón tay. Các tiêu chuẩn như VBench-2.0 và các bộ bài kiểm tra tập trung vào vật lý nhằm mục đích này, thường lấy các mô hình ngôn ngữ đa phương thức làm giám khảo, điều này đặt ra những câu hỏi mới về mức độ tin cậy của những thẩm phán đó. Các clip dài hơn, điều khiển âm thanh và camera cũng cần các số liệu mà các bộ hiện tại chỉ đáp ứng được một phần. Các đấu trường con người có thể sẽ vẫn quan trọng vì chúng nắm bắt được sở thích chung, nhưng chúng tốn kém, nhạy cảm với cách trình bày và khó tái tạo, vì vậy lĩnh vực này có thể sẽ tiếp tục sử dụng cả hai phương pháp tiếp cận.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Evaluating AI Video Generators with VBench quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Đánh giá Trình tạo video AI bằng VBench là gì?

VBench là bộ công cụ chuẩn dành cho các mô hình chuyển văn bản thành video. Nó chia chất lượng video thành 16 khía cạnh riêng biệt, chẳng hạn như tính nhất quán của chủ đề, độ mượt của chuyển động, mức độ động và chất lượng thẩm mỹ, đồng thời chấm điểm từng khía cạnh bằng một bộ đánh giá tự động chuyên dụng. Điều này quan trọng vì một con số không thể cho biết video có sắc nét, mượt mà, trung thực với lời nhắc và thực sự chuyển động hay không và VBench giúp hiển thị những sự đánh đổi đó.

VBench ban đầu xác định bao nhiêu thứ nguyên đánh giá?

VBench chia chất lượng tạo video thành 16 chiều, được nhóm thành chất lượng video và tính nhất quán của điều kiện video.

Yếu tố nào sẽ tiết lộ rằng một mô hình tạo ra video gần như tĩnh?

Mức độ động sử dụng luồng quang để đo mức độ chuyển động của video. Ở đây, clip bị đóng băng đạt điểm thấp ngay cả khi nó đạt điểm cao về tính nhất quán.

VBench sử dụng gì để đo tính nhất quán của chủ thể trên các khung hình?

Tính nhất quán của chủ đề so sánh các đặc điểm DINO của chủ đề trên các khung để kiểm tra xem nó có giữ được hình thức giống nhau hay không.

Hai họ nhóm kích thước của VBench nào?

Thứ nguyên chất lượng video đánh giá clip bất kể lời nhắc, trong khi thứ nguyên nhất quán về điều kiện video đánh giá mức độ tuân theo lời nhắc của video.

Tại sao chỉ đọc tổng điểm của VBench có thể gây hiểu nhầm?

Tổng các kích thước trung bình đánh đổi lẫn nhau. Tính nhất quán cao có thể ẩn chuyển động thấp, vì vậy kết quả theo kích thước rất quan trọng.