แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
คะแนนคลิปและแบบทดสอบเมตริกการตั้งค่าของมนุษย์
ทดสอบวิธีที่คะแนน CLIP วัดการจัดตำแหน่งที่รวดเร็ว วิธีฝึกโมเดลการกำหนดลักษณะ เช่น PickScore และ ImageReward และจุดใดที่ตัววัดแต่ละตัวล้มเหลว
คำถาม 1 ของ 8
เหตุใด FID เพียงอย่างเดียวจึงไม่เพียงพอสำหรับการประเมินโมเดลข้อความเป็นรูปภาพ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใด FID เพียงอย่างเดียวจึงไม่เพียงพอสำหรับการประเมินโมเดลข้อความเป็นรูปภาพ
- มันต้องมีคำอธิบายประกอบที่เป็นมนุษย์สำหรับทุกภาพ
- ไม่เคยดูที่ข้อความแจ้ง ดังนั้นจึงไม่สามารถวัดการจัดตำแหน่งข้อความได้
- ใช้ได้กับภาพขาวดำเท่านั้น
- มันวัดความคล้ายคลึงกันของ CLIP แทนที่จะเป็นความสมจริง
- คะแนน CLIP พื้นฐานคำนวณอย่างไร
- โดยการนับพิกเซลที่ตรงกับสีของพรอมต์
- โดยการฝึกอบรมผู้เลือกปฏิบัติเกี่ยวกับภาพที่สร้างขึ้น
- โดยการเฉลี่ยคุณลักษณะ Inception ในชุดข้อมูล
- โดยการใช้ความคล้ายคลึงโคไซน์ระหว่างรูปภาพของ CLIP และการฝังข้อความ
- ชุดข้อมูลใดที่ได้รับการฝึกอบรม PickScore
- Pick-a-Pic ชุดตัวเลือกที่ทำโดยผู้ใช้เว็บแอป
- คำบรรยาย COCO เท่านั้น
- เลเบลคลาส ImageNet
- ชุดสถิติ FID
- จุดอ่อนใดเป็นเรื่องปกติของการให้คะแนนตาม CLIP
- ไม่สามารถประมวลผลภาพสีได้
- มันมักจะลงโทษความสมจริงของภาพถ่ายเสมอ
- มักจะพลาดการนับ ความสัมพันธ์เชิงพื้นที่ และคุณลักษณะที่เป็นของวัตถุใด
- ต้องมีข้อความแจ้งที่สั้นกว่าห้าคำ
- เหตุใดจึงไม่สามารถเปรียบเทียบคะแนน CLIP จากแบ็คโบนที่แตกต่างกันโดยตรงได้
- แบ็คโบนทั้งหมดมีคะแนนเท่ากัน ดังนั้นจึงไม่มีอะไรจะเปรียบเทียบได้
- ตัวเข้ารหัสที่แตกต่างกัน เช่น ViT-B/32 และ ViT-L/14 มีช่องว่างการฝังและช่วงคะแนนที่แตกต่างกัน
- คะแนน CLIP ถูกกำหนดไว้สำหรับแกนหลักเดียวเท่านั้น
- แบ็คโบนส่งผลต่อ FID เท่านั้น ไม่ใช่คะแนน CLIP
- ความเสี่ยงใดที่เกิดขึ้นเมื่อแบบจำลองได้รับการปรับให้เหมาะสมกับคะแนนการกำหนดลักษณะโดยตรง
- คะแนนจึงไม่สามารถคำนวณได้
- โมเดลสูญเสียความสามารถในการอ่านพร้อมท์
- มันอาจเรียนรู้ที่จะทำให้ผู้บันทึกคะแนนพอใจ เช่น ใช้รูปภาพที่มีความอิ่มตัวมากเกินไป แทนที่จะเป็นคน
- FID จะดีขึ้นโดยอัตโนมัติ
- โดยทั่วไปจะเกิดอะไรขึ้นกับส่วนของพรอมต์ที่เกินขีดจำกัด 77 โทเค็นของ CLIP
- โดยจะให้คะแนนแยกกันและเฉลี่ยเป็นหน่วย
- ตัวเข้ารหัสจะขยายหน้าต่างบริบทโดยอัตโนมัติ
- โดยจะสรุปเป็นโทเค็นน้อยลงก่อน
- มันถูกตัดทอน ดังนั้นจึงไม่มีผลกระทบต่อคะแนน
- การประเมินประเภทใดจะตรวจสอบว่าแต่ละออบเจ็กต์และคุณลักษณะในพรอมต์ปรากฏขึ้นจริงหรือไม่
- เกณฑ์มาตรฐานการตอบคำถามหรือเครื่องมือตรวจจับ เช่น TIFA และ GenEval
- เอฟไอดีเอ
- ความคล้ายคลึงโคไซน์ของ Raw CLIP
- การเพิ่มระดับการแนะนำ