引導式測驗 · 中等 等級
CLIP 分數與人類偏好指標測驗
測試 CLIP 分數如何衡量即時對齊、如何訓練 PickScore 和 ImageReward 等偏好模型以及每個指標失敗的地方。
問題 1 的 8
為什麼僅 FID 不足以評估文字到圖像模型?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼僅 FID 不足以評估文字到圖像模型?
- 每個圖像都需要人工註釋者
- 它從不查看提示,因此無法測量文字對齊方式
- 它僅適用於黑白影像
- 它測量 CLIP 相似性而不是真實性
- 基本 CLIP 分數是如何計算的?
- 透過計算與提示顏色相符的像素
- 透過在生成的圖像上訓練鑑別器
- 透過對資料集中的 Inception 特徵進行平均
- 透過取得 CLIP 影像和文字嵌入之間的餘弦相似度
- PickScore 是在哪個資料集上訓練的?
- Pick-a-Pic,網路應用程式使用者所做的一組選擇
- COCO 僅限字幕
- ImageNet 類別標籤
- FID統計資料集合
- 基於 CLIP 的評分的典型弱點是什麼?
- 它无法处理彩色图像
- 它总是惩罚照片写实主义
- 它经常错过计数、空间关系以及哪个属性属于哪个对象
- 它要求提示少于五个单词
- 為什麼不同骨幹網的 CLIP 分數不能直接比較?
- 所有骨干网产生相同的分数,因此没有什么可比较的
- 不同的编码器如ViT-B/32和ViT-L/14具有不同的嵌入空间和分数范围
- CLIP 分数仅针对一个骨干网定义
- 主干网只影响FID,不影响CLIP分数
- 当模型直接针对偏好评分进行优化时,会产生什么风险?
- 分數變得無法計算
- 該模型失去了閱讀提示的能力
- 它可能會學會取悅評分者,例如使用過飽和的圖像,而不是人
- FID自動改進
- 超出 CLIP 77 個令牌限制的提示部分通常會發生什麼情況?
- 分別計分並取平均值
- 編碼器自動擴展其上下文視窗
- 先歸納較少的token
- 它被截斷了,所以它永遠不會影響分數
- 哪一種評估檢查提示中的每個物件和屬性是否實際出現?
- 問答或基於檢測器的基準測試,例如 TIFA 和 GenEval
- FID
- 原始 CLIP 餘弦相似度
- 提高指導規模