แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

คะแนนคลิปและแบบทดสอบเมตริกการตั้งค่าของมนุษย์

ทดสอบวิธีที่คะแนน CLIP วัดการจัดตำแหน่งที่รวดเร็ว วิธีฝึกโมเดลการกำหนดลักษณะ เช่น PickScore และ ImageReward และจุดใดที่ตัววัดแต่ละตัวล้มเหลว

เส้นทางแนะนำที่เกี่ยวข้องคะแนนคลิปและการวัดความชอบของมนุษย์
คำถาม 1 ของ 8

เหตุใด FID เพียงอย่างเดียวจึงไม่เพียงพอสำหรับการประเมินโมเดลข้อความเป็นรูปภาพ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใด FID เพียงอย่างเดียวจึงไม่เพียงพอสำหรับการประเมินโมเดลข้อความเป็นรูปภาพ
    • มันต้องมีคำอธิบายประกอบที่เป็นมนุษย์สำหรับทุกภาพ
    • ไม่เคยดูที่ข้อความแจ้ง ดังนั้นจึงไม่สามารถวัดการจัดตำแหน่งข้อความได้
    • ใช้ได้กับภาพขาวดำเท่านั้น
    • มันวัดความคล้ายคลึงกันของ CLIP แทนที่จะเป็นความสมจริง
  2. คะแนน CLIP พื้นฐานคำนวณอย่างไร
    • โดยการนับพิกเซลที่ตรงกับสีของพรอมต์
    • โดยการฝึกอบรมผู้เลือกปฏิบัติเกี่ยวกับภาพที่สร้างขึ้น
    • โดยการเฉลี่ยคุณลักษณะ Inception ในชุดข้อมูล
    • โดยการใช้ความคล้ายคลึงโคไซน์ระหว่างรูปภาพของ CLIP และการฝังข้อความ
  3. ชุดข้อมูลใดที่ได้รับการฝึกอบรม PickScore
    • Pick-a-Pic ชุดตัวเลือกที่ทำโดยผู้ใช้เว็บแอป
    • คำบรรยาย COCO เท่านั้น
    • เลเบลคลาส ImageNet
    • ชุดสถิติ FID
  4. จุดอ่อนใดเป็นเรื่องปกติของการให้คะแนนตาม CLIP
    • ไม่สามารถประมวลผลภาพสีได้
    • มันมักจะลงโทษความสมจริงของภาพถ่ายเสมอ
    • มักจะพลาดการนับ ความสัมพันธ์เชิงพื้นที่ และคุณลักษณะที่เป็นของวัตถุใด
    • ต้องมีข้อความแจ้งที่สั้นกว่าห้าคำ
  5. เหตุใดจึงไม่สามารถเปรียบเทียบคะแนน CLIP จากแบ็คโบนที่แตกต่างกันโดยตรงได้
    • แบ็คโบนทั้งหมดมีคะแนนเท่ากัน ดังนั้นจึงไม่มีอะไรจะเปรียบเทียบได้
    • ตัวเข้ารหัสที่แตกต่างกัน เช่น ViT-B/32 และ ViT-L/14 มีช่องว่างการฝังและช่วงคะแนนที่แตกต่างกัน
    • คะแนน CLIP ถูกกำหนดไว้สำหรับแกนหลักเดียวเท่านั้น
    • แบ็คโบนส่งผลต่อ FID เท่านั้น ไม่ใช่คะแนน CLIP
  6. ความเสี่ยงใดที่เกิดขึ้นเมื่อแบบจำลองได้รับการปรับให้เหมาะสมกับคะแนนการกำหนดลักษณะโดยตรง
    • คะแนนจึงไม่สามารถคำนวณได้
    • โมเดลสูญเสียความสามารถในการอ่านพร้อมท์
    • มันอาจเรียนรู้ที่จะทำให้ผู้บันทึกคะแนนพอใจ เช่น ใช้รูปภาพที่มีความอิ่มตัวมากเกินไป แทนที่จะเป็นคน
    • FID จะดีขึ้นโดยอัตโนมัติ
  7. โดยทั่วไปจะเกิดอะไรขึ้นกับส่วนของพรอมต์ที่เกินขีดจำกัด 77 โทเค็นของ CLIP
    • โดยจะให้คะแนนแยกกันและเฉลี่ยเป็นหน่วย
    • ตัวเข้ารหัสจะขยายหน้าต่างบริบทโดยอัตโนมัติ
    • โดยจะสรุปเป็นโทเค็นน้อยลงก่อน
    • มันถูกตัดทอน ดังนั้นจึงไม่มีผลกระทบต่อคะแนน
  8. การประเมินประเภทใดจะตรวจสอบว่าแต่ละออบเจ็กต์และคุณลักษณะในพรอมต์ปรากฏขึ้นจริงหรือไม่
    • เกณฑ์มาตรฐานการตอบคำถามหรือเครื่องมือตรวจจับ เช่น TIFA และ GenEval
    • เอฟไอดีเอ
    • ความคล้ายคลึงโคไซน์ของ Raw CLIP
    • การเพิ่มระดับการแนะนำ