技術指南

CLIP 分數與人類偏好指標

CLIP 分數衡量產生的圖像與其文字提示的匹配程度。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. CLIP 分數和人類偏好指標的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它使用 OpenAI 的 CLIP 模型嵌入圖像和提示,並比較兩種嵌入。 ImageReward、HPS 和 PickScore 等人類偏好指標是經過訓練的模型,用於預測人們會選擇多個影像中的哪一個。這些分數很重要,因為 FID 本身並不能說明圖像是否遵循其提示或是否對人們有吸引力,而且它們現在是文本到圖像論文、排行榜和微調管道的標準。

深入探討

For years the headline number in image generation papers was FID (Frechet Inception Distance). FID compares the statistics of Inception network features from generated images with those from real photos. It captures realism and diversity at the level of a whole dataset, but it never looks at the prompt, and it cannot tell you whether a single image is good. CLIP score fills the prompt gap. OpenAI released CLIP in 2021, trained on image-caption pairs so that matching images and text sit close together in a shared embedding space. To score a generation, you embed the image and its prompt and take the cosine similarity between them. The result is usually multiplied by 100, or rescaled as in the CLIPScore paper by Hessel and colleagues. Averaged over a prompt set, a higher score means better text alignment. Human preference metrics go a step further by learning from people's choices. ImageReward (2023) trained a reward model on expert rankings of generated images. Human Preference Score (HPS, later HPS v2) fine-tuned CLIP on large collections of human choices between images made from the same prompt. PickScore was trained on Pick-a-Pic, a dataset collected from users of a web app who picked their favorite of two generated images. These models capture aesthetics, coherence and appeal as well as alignment. Each metric has blind spots. CLIP behaves partly like a bag of words: it often misses counts, spatial relations, negation and which color belongs to which object. Preference models inherit the tastes of their annotators and can favor a polished, saturated look. All of these scores can be gamed. If you optimize a model directly against a score, it may learn to please the scorer rather than people. A common misconception is that a higher CLIP score always means a better image. Small differences are often within noise, and careful evaluations pair automatic scores with compositional benchmarks and human studies.

現實世界的實施

研究團隊比較文字到圖像模型的兩個檢查點,為相同的固定提示集產生圖像,並報告平均 CLIP 分數和 FID。這顯示在不損害現實性的情況下,及時遵守情況有所改善。

圖像生成應用程式為每個請求創建四個候選圖像,使用 PickScore 對它們進行排名,並首先顯示得分最高的圖像。

微調專案使用 ImageReward 作為獎勵訊號,將 Stable Diffusion 模型推向首選輸出。然後,團隊手動檢查樣本以發現獎勵黑客行為,例如顏色過飽和。

評估者發現,即使顏色被交換,模型在「藍色球體頂部的紅色立方體」的 CLIP 分數上得分也很高。他們添加了基於檢測器的組合基準(例如 GenEval)來捕獲這些屬性綁定錯誤。

CLIP 分數和人類偏好指標的未來

評估正在轉向檢查影像中特定聲明的方法,而不是依賴一個全域相似度數。 TIFA 等問答方法和 GenEval 等基於偵測器的基準測試會詢問提示中的每個物件、計數和屬性是否實際出現。多模態語言模型也越來越多地被用作法官。這些工具有自己的錯誤和偏見,因此它們更有可能補充嵌入分數而不是取代它們。人類研究和公共場所仍然是參考點。研究人員仍在爭論如何收集反映廣泛用戶而不是一小群註釋者的偏好數據。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 CLIP 分數和人類偏好指標測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 CLIP 分數和人類偏好指標?

CLIP 分數衡量產生的圖像與其文字提示的匹配程度。它使用 OpenAI 的 CLIP 模型嵌入圖像和提示,並比較兩種嵌入。 ImageReward、HPS 和 PickScore 等人類偏好指標是經過訓練的模型,用於預測人們會選擇多個影像中的哪一個。這些分數很重要,因為 FID 本身並不能說明圖像是否遵循其提示或是否對人們有吸引力,而且它們現在是文本到圖像論文、排行榜和微調管道的標準。

為什麼僅 FID 不足以評估文字到圖像模型?

FID 比較資料集中產生的影像和真實影像的特徵統計資料。它捕捉到了真實性和多樣性,但完全忽略了提示,這正是 CLIP 分數被引入來填補的空白。

基本 CLIP 分數是如何計算的?

CLIP 將圖像和文字放置在共享嵌入空間中。分數是影像嵌入和提示嵌入之間的餘弦相似度,通常以 100 縮放。

PickScore 是在哪個資料集上訓練的?

PickScore 在 Pick-a-Pic 上進行了訓練,網頁應用程式使用者在同一提示下從生成的兩張影像中選擇自己最喜歡的影像。

基於 CLIP 的評分的典型弱點是什麼?

CLIP 的行為在某種程度上就像一個詞袋。它會注意到有哪些概念,但常常忽略它們之間的關係,例如計數、位置或顏色綁定。

為什麼不同骨幹網的 CLIP 分數不能直接比較?

每個編碼器都會學習自己的嵌入空間,因此相同的圖像和提示從不同的編碼器中獲得不同的分數。論文必須說明他們使用的編碼器。