引導式測驗 · 中等 等級

CLIP 分數與人類偏好指標測驗

測試 CLIP 分數如何衡量即時對齊、如何訓練 PickScore 和 ImageReward 等偏好模型以及每個指標失敗的地方。

問題 1 的 8

為什麼僅 FID 不足以評估文字到圖像模型?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼僅 FID 不足以評估文字到圖像模型?
    • 每個圖像都需要人工註釋者
    • 它從不查看提示,因此無法測量文字對齊方式
    • 它僅適用於黑白影像
    • 它測量 CLIP 相似性而不是真實性
  2. 基本 CLIP 分數是如何計算的?
    • 透過計算與提示顏色相符的像素
    • 透過在生成的圖像上訓練鑑別器
    • 透過對資料集中的 Inception 特徵進行平均
    • 透過取得 CLIP 影像和文字嵌入之間的餘弦相似度
  3. PickScore 是在哪個資料集上訓練的?
    • Pick-a-Pic,網路應用程式使用者所做的一組選擇
    • COCO 僅限字幕
    • ImageNet 類別標籤
    • FID統計資料集合
  4. 基於 CLIP 的評分的典型弱點是什麼?
    • 它无法处理彩色图像
    • 它总是惩罚照片写实主义
    • 它经常错过计数、空间关系以及哪个属性属于哪个对象
    • 它要求提示少于五个单词
  5. 為什麼不同骨幹網的 CLIP 分數不能直接比較?
    • 所有骨干网产生相同的分数,因此没有什么可比较的
    • 不同的编码器如ViT-B/32和ViT-L/14具有不同的嵌入空间和分数范围
    • CLIP 分数仅针对一个骨干网定义
    • 主干网只影响FID,不影响CLIP分数
  6. 当模型直接针对偏好评分进行优化时,会产生什么风险?
    • 分數變得無法計算
    • 該模型失去了閱讀提示的能力
    • 它可能會學會取悅評分者,例如使用過飽和的圖像,而不是人
    • FID自動改進
  7. 超出 CLIP 77 個令牌限制的提示部分通常會發生什麼情況?
    • 分別計分並取平均值
    • 編碼器自動擴展其上下文視窗
    • 先歸納較少的token
    • 它被截斷了,所以它永遠不會影響分數
  8. 哪一種評估檢查提示中的每個物件和屬性是否實際出現?
    • 問答或基於檢測器的基準測試,例如 TIFA 和 GenEval
    • FID
    • 原始 CLIP 餘弦相似度
    • 提高指導規模