HƯỚNG DẪN KỸ THUẬT

Điểm CLIP và số liệu về sở thích con người

Điểm CLIP đo mức độ phù hợp của hình ảnh được tạo với lời nhắc văn bản của nó.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của Điểm CLIP và Số liệu về Sở thích Con người
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó nhúng hình ảnh và lời nhắc bằng mô hình CLIP của OpenAI và so sánh hai phần nhúng. Các số liệu về sở thích của con người như ImageReward, HPS và PickScore là những mô hình được đào tạo để dự đoán hình ảnh nào mọi người sẽ chọn. Những điểm số này quan trọng vì chỉ riêng FID không nói lên điều gì về việc một hình ảnh có tuân theo lời nhắc của nó hay có hấp dẫn mọi người hay không và chúng hiện là tiêu chuẩn trong các giấy tờ chuyển văn bản thành hình ảnh, bảng xếp hạng và quy trình tinh chỉnh.

Lặn sâu

Trong nhiều năm, số tiêu đề trong các bài báo tạo hình ảnh là FID (Khoảng cách khởi động Frechet). FID so sánh số liệu thống kê về các tính năng của mạng Inception từ các hình ảnh được tạo với các tính năng từ ảnh thật. Nó nắm bắt được tính hiện thực và đa dạng ở cấp độ của toàn bộ tập dữ liệu, nhưng nó không bao giờ nhìn vào lời nhắc và không thể cho bạn biết liệu một hình ảnh có tốt hay không. Điểm CLIP lấp đầy khoảng trống nhanh chóng. OpenAI đã phát hành CLIP vào năm 2021, đào tạo các cặp chú thích hình ảnh để hình ảnh và văn bản phù hợp nằm gần nhau trong một không gian nhúng chung. Để ghi điểm cho một thế hệ, bạn nhúng hình ảnh và lời nhắc của nó rồi lấy độ tương tự cosin giữa chúng. Kết quả thường được nhân với 100 hoặc được định cỡ lại như trong bài báo CLIPScore của Hessel và các đồng nghiệp. Tính trung bình trên một tập hợp lời nhắc, điểm cao hơn có nghĩa là căn chỉnh văn bản tốt hơn. Các số liệu về sở thích của con người tiến thêm một bước bằng cách học hỏi từ những lựa chọn của mọi người. ImageReward (2023) đã đào tạo mô hình phần thưởng dựa trên bảng xếp hạng chuyên gia về hình ảnh được tạo. Điểm ưu tiên của con người (HPS, sau này là HPS v2) đã tinh chỉnh CLIP trên bộ sưu tập lớn các lựa chọn của con người giữa các hình ảnh được tạo từ cùng một lời nhắc. PickScore đã được đào tạo về Pick-a-Pic, một tập dữ liệu được thu thập từ những người dùng ứng dụng web, những người đã chọn hai hình ảnh được tạo yêu thích của họ. Những mô hình này nắm bắt được tính thẩm mỹ, sự mạch lạc và hấp dẫn cũng như sự liên kết. Mỗi số liệu đều có điểm mù. CLIP hoạt động một phần giống như một túi từ: nó thường bỏ qua số lượng, quan hệ không gian, phủ định và màu nào thuộc về đối tượng nào. Các mô hình ưu tiên kế thừa sở thích của người chú thích và có thể thiên về giao diện bóng bẩy, bão hòa. Tất cả những điểm số này có thể được chơi. Nếu bạn tối ưu hóa một mô hình trực tiếp theo điểm số, nó có thể học cách làm hài lòng người ghi điểm hơn là mọi người. Một quan niệm sai lầm phổ biến là điểm CLIP cao hơn luôn có nghĩa là hình ảnh đẹp hơn. Những khác biệt nhỏ thường nằm trong phạm vi nhiễu và các đánh giá cẩn thận sẽ ghép điểm số tự động với điểm chuẩn thành phần và nghiên cứu trên con người.

Triển khai trong thế giới thực

Một nhóm nghiên cứu so sánh hai điểm kiểm tra của mô hình chuyển văn bản thành hình ảnh sẽ tạo ra hình ảnh cho cùng một bộ lời nhắc cố định và báo cáo điểm CLIP trung bình cùng với FID. Điều này cho thấy việc tuân thủ kịp thời được cải thiện mà không làm ảnh hưởng đến chủ nghĩa hiện thực.

Một ứng dụng tạo hình ảnh tạo ra bốn ứng viên cho mỗi yêu cầu, xếp hạng họ bằng PickScore và hiển thị hình ảnh có điểm cao nhất trước tiên.

Một dự án tinh chỉnh sử dụng ImageReward làm tín hiệu khen thưởng để thúc đẩy mô hình Stable Diffusion hướng tới kết quả đầu ra ưa thích. Sau đó, nhóm kiểm tra các mẫu bằng tay để phát hiện hành vi hack phần thưởng, chẳng hạn như màu sắc quá bão hòa.

Người đánh giá nhận thấy rằng mô hình đạt điểm CLIP cao cho 'khối màu đỏ nằm trên đỉnh quả cầu màu xanh' mặc dù màu sắc được hoán đổi. Họ thêm một điểm chuẩn tổng hợp dựa trên trình phát hiện, chẳng hạn như GenEval để phát hiện các lỗi liên kết thuộc tính này.

Tương lai của Điểm CLIP và Số liệu về Sở thích Con người

Đánh giá đang hướng tới các phương pháp kiểm tra các tuyên bố cụ thể trong một hình ảnh thay vì dựa vào một con số tương tự toàn cầu. Các phương pháp trả lời câu hỏi như TIFA và điểm chuẩn dựa trên trình phát hiện như GenEval sẽ hỏi xem mỗi đối tượng, số lượng và thuộc tính trong lời nhắc có thực sự xuất hiện hay không. Các mô hình ngôn ngữ đa phương thức cũng được sử dụng ngày càng nhiều trong vai trò giám khảo. Những công cụ này có lỗi và thành kiến ​​riêng, vì vậy chúng có nhiều khả năng bổ sung cho điểm nhúng hơn là thay thế chúng. Nghiên cứu về con người và đấu trường công cộng vẫn là điểm tham chiếu. Các nhà nghiên cứu vẫn đang tranh luận về cách thu thập dữ liệu ưu tiên phản ánh nhiều đối tượng người dùng thay vì một nhóm người chú thích hẹp.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the CLIP Score and Human Preference Metrics quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Điểm CLIP và Số liệu về Sở thích Con người là gì?

Điểm CLIP đo mức độ phù hợp của hình ảnh được tạo với lời nhắc văn bản của nó. Nó nhúng hình ảnh và lời nhắc bằng mô hình CLIP của OpenAI và so sánh hai phần nhúng. Các số liệu về sở thích của con người như ImageReward, HPS và PickScore là những mô hình được đào tạo để dự đoán hình ảnh nào mọi người sẽ chọn. Những điểm số này quan trọng vì chỉ riêng FID không nói lên điều gì về việc một hình ảnh có tuân theo lời nhắc của nó hay có hấp dẫn mọi người hay không và chúng hiện là tiêu chuẩn trong các giấy tờ chuyển văn bản thành hình ảnh, bảng xếp hạng và quy trình tinh chỉnh.

Tại sao chỉ riêng FID là không đủ để đánh giá các mô hình chuyển văn bản thành hình ảnh?

FID so sánh số liệu thống kê tính năng của hình ảnh được tạo và hình ảnh thực trên một tập dữ liệu. Nó nắm bắt được chủ nghĩa hiện thực và sự đa dạng nhưng hoàn toàn bỏ qua lời nhắc, đó là khoảng trống mà điểm CLIP được đưa vào để lấp đầy.

Điểm CLIP cơ bản được tính như thế nào?

CLIP đặt hình ảnh và văn bản vào một không gian nhúng chung. Điểm số là độ tương tự cosin giữa việc nhúng hình ảnh và việc nhúng lời nhắc, thường được chia theo tỷ lệ 100.

PickScore đã đào tạo tập dữ liệu nào?

PickScore đã được đào tạo về Pick-a-Pic, trong đó người dùng ứng dụng web chọn hai hình ảnh được tạo yêu thích của họ cho cùng một lời nhắc.

Điểm yếu nào là điển hình của việc tính điểm dựa trên CLIP?

CLIP hoạt động một phần giống như một túi từ. Nó thông báo những khái niệm nào hiện diện nhưng thường bỏ sót mối liên hệ của chúng, chẳng hạn như số lượng, vị trí hoặc ràng buộc màu sắc.

Tại sao không thể so sánh trực tiếp điểm CLIP từ các đường trục khác nhau?

Mỗi bộ mã hóa sẽ tìm hiểu không gian nhúng riêng của mình, do đó, cùng một hình ảnh và lời nhắc sẽ nhận được điểm số khác nhau từ các bộ mã hóa khác nhau. Giấy tờ phải nêu rõ họ đã sử dụng bộ mã hóa nào.