Tiếp theoHướng dẫn tiếp theo
Thu thập Dữ liệu Sở thích của Con người cho RLHF
Ngôn ngữ AI
HƯỚNG DẪN KỸ THUẬT
Điểm CLIP đo mức độ phù hợp của hình ảnh được tạo với lời nhắc văn bản của nó.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó nhúng hình ảnh và lời nhắc bằng mô hình CLIP của OpenAI và so sánh hai phần nhúng. Các số liệu về sở thích của con người như ImageReward, HPS và PickScore là những mô hình được đào tạo để dự đoán hình ảnh nào mọi người sẽ chọn. Những điểm số này quan trọng vì chỉ riêng FID không nói lên điều gì về việc một hình ảnh có tuân theo lời nhắc của nó hay có hấp dẫn mọi người hay không và chúng hiện là tiêu chuẩn trong các giấy tờ chuyển văn bản thành hình ảnh, bảng xếp hạng và quy trình tinh chỉnh.
Trong nhiều năm, số tiêu đề trong các bài báo tạo hình ảnh là FID (Khoảng cách khởi động Frechet). FID so sánh số liệu thống kê về các tính năng của mạng Inception từ các hình ảnh được tạo với các tính năng từ ảnh thật. Nó nắm bắt được tính hiện thực và đa dạng ở cấp độ của toàn bộ tập dữ liệu, nhưng nó không bao giờ nhìn vào lời nhắc và không thể cho bạn biết liệu một hình ảnh có tốt hay không. Điểm CLIP lấp đầy khoảng trống nhanh chóng. OpenAI đã phát hành CLIP vào năm 2021, đào tạo các cặp chú thích hình ảnh để hình ảnh và văn bản phù hợp nằm gần nhau trong một không gian nhúng chung. Để ghi điểm cho một thế hệ, bạn nhúng hình ảnh và lời nhắc của nó rồi lấy độ tương tự cosin giữa chúng. Kết quả thường được nhân với 100 hoặc được định cỡ lại như trong bài báo CLIPScore của Hessel và các đồng nghiệp. Tính trung bình trên một tập hợp lời nhắc, điểm cao hơn có nghĩa là căn chỉnh văn bản tốt hơn. Các số liệu về sở thích của con người tiến thêm một bước bằng cách học hỏi từ những lựa chọn của mọi người. ImageReward (2023) đã đào tạo mô hình phần thưởng dựa trên bảng xếp hạng chuyên gia về hình ảnh được tạo. Điểm ưu tiên của con người (HPS, sau này là HPS v2) đã tinh chỉnh CLIP trên bộ sưu tập lớn các lựa chọn của con người giữa các hình ảnh được tạo từ cùng một lời nhắc. PickScore đã được đào tạo về Pick-a-Pic, một tập dữ liệu được thu thập từ những người dùng ứng dụng web, những người đã chọn hai hình ảnh được tạo yêu thích của họ. Những mô hình này nắm bắt được tính thẩm mỹ, sự mạch lạc và hấp dẫn cũng như sự liên kết. Mỗi số liệu đều có điểm mù. CLIP hoạt động một phần giống như một túi từ: nó thường bỏ qua số lượng, quan hệ không gian, phủ định và màu nào thuộc về đối tượng nào. Các mô hình ưu tiên kế thừa sở thích của người chú thích và có thể thiên về giao diện bóng bẩy, bão hòa. Tất cả những điểm số này có thể được chơi. Nếu bạn tối ưu hóa một mô hình trực tiếp theo điểm số, nó có thể học cách làm hài lòng người ghi điểm hơn là mọi người. Một quan niệm sai lầm phổ biến là điểm CLIP cao hơn luôn có nghĩa là hình ảnh đẹp hơn. Những khác biệt nhỏ thường nằm trong phạm vi nhiễu và các đánh giá cẩn thận sẽ ghép điểm số tự động với điểm chuẩn thành phần và nghiên cứu trên con người.
Một nhóm nghiên cứu so sánh hai điểm kiểm tra của mô hình chuyển văn bản thành hình ảnh sẽ tạo ra hình ảnh cho cùng một bộ lời nhắc cố định và báo cáo điểm CLIP trung bình cùng với FID. Điều này cho thấy việc tuân thủ kịp thời được cải thiện mà không làm ảnh hưởng đến chủ nghĩa hiện thực.
Một ứng dụng tạo hình ảnh tạo ra bốn ứng viên cho mỗi yêu cầu, xếp hạng họ bằng PickScore và hiển thị hình ảnh có điểm cao nhất trước tiên.
Một dự án tinh chỉnh sử dụng ImageReward làm tín hiệu khen thưởng để thúc đẩy mô hình Stable Diffusion hướng tới kết quả đầu ra ưa thích. Sau đó, nhóm kiểm tra các mẫu bằng tay để phát hiện hành vi hack phần thưởng, chẳng hạn như màu sắc quá bão hòa.
Người đánh giá nhận thấy rằng mô hình đạt điểm CLIP cao cho 'khối màu đỏ nằm trên đỉnh quả cầu màu xanh' mặc dù màu sắc được hoán đổi. Họ thêm một điểm chuẩn tổng hợp dựa trên trình phát hiện, chẳng hạn như GenEval để phát hiện các lỗi liên kết thuộc tính này.
Đánh giá đang hướng tới các phương pháp kiểm tra các tuyên bố cụ thể trong một hình ảnh thay vì dựa vào một con số tương tự toàn cầu. Các phương pháp trả lời câu hỏi như TIFA và điểm chuẩn dựa trên trình phát hiện như GenEval sẽ hỏi xem mỗi đối tượng, số lượng và thuộc tính trong lời nhắc có thực sự xuất hiện hay không. Các mô hình ngôn ngữ đa phương thức cũng được sử dụng ngày càng nhiều trong vai trò giám khảo. Những công cụ này có lỗi và thành kiến riêng, vì vậy chúng có nhiều khả năng bổ sung cho điểm nhúng hơn là thay thế chúng. Nghiên cứu về con người và đấu trường công cộng vẫn là điểm tham chiếu. Các nhà nghiên cứu vẫn đang tranh luận về cách thu thập dữ liệu ưu tiên phản ánh nhiều đối tượng người dùng thay vì một nhóm người chú thích hẹp.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Điểm CLIP đo mức độ phù hợp của hình ảnh được tạo với lời nhắc văn bản của nó. Nó nhúng hình ảnh và lời nhắc bằng mô hình CLIP của OpenAI và so sánh hai phần nhúng. Các số liệu về sở thích của con người như ImageReward, HPS và PickScore là những mô hình được đào tạo để dự đoán hình ảnh nào mọi người sẽ chọn. Những điểm số này quan trọng vì chỉ riêng FID không nói lên điều gì về việc một hình ảnh có tuân theo lời nhắc của nó hay có hấp dẫn mọi người hay không và chúng hiện là tiêu chuẩn trong các giấy tờ chuyển văn bản thành hình ảnh, bảng xếp hạng và quy trình tinh chỉnh.
FID so sánh số liệu thống kê tính năng của hình ảnh được tạo và hình ảnh thực trên một tập dữ liệu. Nó nắm bắt được chủ nghĩa hiện thực và sự đa dạng nhưng hoàn toàn bỏ qua lời nhắc, đó là khoảng trống mà điểm CLIP được đưa vào để lấp đầy.
CLIP đặt hình ảnh và văn bản vào một không gian nhúng chung. Điểm số là độ tương tự cosin giữa việc nhúng hình ảnh và việc nhúng lời nhắc, thường được chia theo tỷ lệ 100.
PickScore đã được đào tạo về Pick-a-Pic, trong đó người dùng ứng dụng web chọn hai hình ảnh được tạo yêu thích của họ cho cùng một lời nhắc.
CLIP hoạt động một phần giống như một túi từ. Nó thông báo những khái niệm nào hiện diện nhưng thường bỏ sót mối liên hệ của chúng, chẳng hạn như số lượng, vị trí hoặc ràng buộc màu sắc.
Mỗi bộ mã hóa sẽ tìm hiểu không gian nhúng riêng của mình, do đó, cùng một hình ảnh và lời nhắc sẽ nhận được điểm số khác nhau từ các bộ mã hóa khác nhau. Giấy tờ phải nêu rõ họ đã sử dụng bộ mã hóa nào.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Thu thập Dữ liệu Sở thích của Con người cho RLHF
Ngôn ngữ AI