คู่มือทางเทคนิค

คะแนนคลิปและตัวชี้วัดการตั้งค่าของมนุษย์

CLIP score measures how well a generated image matches its text prompt.

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. The Future of CLIP Score and Human Preference Metrics
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It embeds the image and the prompt with OpenAI's CLIP model and compares the two embeddings. Human preference metrics such as ImageReward, HPS and PickScore are models trained to predict which of several images people would choose. These scores matter because FID alone says nothing about whether an image follows its prompt or appeals to people, and they are now standard in text-to-image papers, leaderboards and fine-tuning pipelines.

เจาะลึก

For years the headline number in image generation papers was FID (Frechet Inception Distance). FID compares the statistics of Inception network features from generated images with those from real photos. It captures realism and diversity at the level of a whole dataset, but it never looks at the prompt, and it cannot tell you whether a single image is good. CLIP score fills the prompt gap. OpenAI released CLIP in 2021, trained on image-caption pairs so that matching images and text sit close together in a shared embedding space. To score a generation, you embed the image and its prompt and take the cosine similarity between them. The result is usually multiplied by 100, or rescaled as in the CLIPScore paper by Hessel and colleagues. Averaged over a prompt set, a higher score means better text alignment. Human preference metrics go a step further by learning from people's choices. ImageReward (2023) trained a reward model on expert rankings of generated images. Human Preference Score (HPS, later HPS v2) fine-tuned CLIP on large collections of human choices between images made from the same prompt. PickScore was trained on Pick-a-Pic, a dataset collected from users of a web app who picked their favorite of two generated images. These models capture aesthetics, coherence and appeal as well as alignment. Each metric has blind spots. CLIP behaves partly like a bag of words: it often misses counts, spatial relations, negation and which color belongs to which object. Preference models inherit the tastes of their annotators and can favor a polished, saturated look. All of these scores can be gamed. If you optimize a model directly against a score, it may learn to please the scorer rather than people. A common misconception is that a higher CLIP score always means a better image. Small differences are often within noise, and careful evaluations pair automatic scores with compositional benchmarks and human studies.

การใช้งานจริงในโลกแห่งความเป็นจริง

A research team comparing two checkpoints of a text-to-image model generates images for the same fixed prompt set and reports average CLIP score alongside FID. This shows that prompt adherence improved without hurting realism.

An image generation app creates four candidates per request, ranks them with PickScore and shows the highest-scoring image first.

A fine-tuning project uses ImageReward as a reward signal to push a Stable Diffusion model toward preferred outputs. The team then checks samples by hand to catch reward hacking, such as oversaturated colors.

An evaluator sees that a model scores well on CLIP score for 'a red cube on top of a blue sphere' even though the colors are swapped. They add a detector-based compositional benchmark such as GenEval to catch these attribute-binding errors.

The Future of CLIP Score and Human Preference Metrics

Evaluation is moving toward methods that check specific claims in an image instead of relying on one global similarity number. Question-answering approaches such as TIFA and detector-based benchmarks such as GenEval ask whether each object, count and attribute in the prompt actually appears. Multimodal language models are also used more and more as judges. These tools have their own errors and biases, so they are more likely to complement embedding scores than replace them. Human studies and public arenas remain the reference point. Researchers are still debating how to collect preference data that reflects a wide range of users rather than a narrow group of annotators.

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the CLIP Score and Human Preference Metrics quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is CLIP Score and Human Preference Metrics?

CLIP score measures how well a generated image matches its text prompt. It embeds the image and the prompt with OpenAI's CLIP model and compares the two embeddings. Human preference metrics such as ImageReward, HPS and PickScore are models trained to predict which of several images people would choose. These scores matter because FID alone says nothing about whether an image follows its prompt or appeals to people, and they are now standard in text-to-image papers, leaderboards and fine-tuning pipelines.

เหตุใด FID เพียงอย่างเดียวจึงไม่เพียงพอสำหรับการประเมินโมเดลข้อความเป็นรูปภาพ

FID เปรียบเทียบสถิติคุณลักษณะของรูปภาพที่สร้างขึ้นและรูปภาพจริงในชุดข้อมูล มันรวบรวมความสมจริงและความหลากหลายแต่ไม่สนใจข้อความแจ้งทั้งหมด ซึ่งเป็นช่องว่างของคะแนน CLIP ที่ถูกนำมาใช้เพื่อเติมเต็ม

คะแนน CLIP พื้นฐานคำนวณอย่างไร

CLIP วางรูปภาพและข้อความในพื้นที่ฝังที่ใช้ร่วมกัน คะแนนคือความคล้ายคลึงโคไซน์ระหว่างการฝังรูปภาพและการฝังพร้อมท์ ซึ่งมักจะปรับขนาดเป็น 100

ชุดข้อมูลใดที่ได้รับการฝึกอบรม PickScore

PickScore ได้รับการฝึกอบรมเกี่ยวกับ Pick-a-Pic ซึ่งผู้ใช้แอปพลิเคชันบนเว็บเลือกรูปภาพที่สร้างขึ้นสองภาพที่ชื่นชอบสำหรับข้อความแจ้งเดียวกัน

จุดอ่อนใดเป็นเรื่องปกติของการให้คะแนนตาม CLIP

CLIP มีพฤติกรรมบางส่วนเหมือนถุงคำพูด โดยจะสังเกตว่าแนวคิดใดที่มีอยู่แต่มักจะมองข้ามความสัมพันธ์ระหว่างแนวคิดเหล่านั้น เช่น การนับ ตำแหน่ง หรือการเชื่อมโยงสี

เหตุใดจึงไม่สามารถเปรียบเทียบคะแนน CLIP จากแบ็คโบนที่แตกต่างกันโดยตรงได้

ตัวเข้ารหัสแต่ละตัวจะเรียนรู้พื้นที่การฝังของตัวเอง ดังนั้นรูปภาพและข้อความที่เหมือนกันจึงได้รับคะแนนที่แตกต่างกันจากตัวเข้ารหัสที่แตกต่างกัน เอกสารจะต้องระบุว่าใช้ตัวเข้ารหัสใด

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →