গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
CLIP স্কোর এবং হিউম্যান প্রেফারেন্স মেট্রিক্স কুইজ
কিভাবে CLIP স্কোর প্রম্পট অ্যালাইনমেন্ট পরিমাপ করে, PickScore এবং ImageReward-এর মতো পছন্দের মডেলগুলি কীভাবে প্রশিক্ষিত হয় এবং প্রতিটি মেট্রিক কোথায় ব্যর্থ হয় তা পরীক্ষা করে।
প্রশ্ন 1 এর 8
টেক্সট-টু-ইমেজ মডেলের মূল্যায়নের জন্য কেন একা FID অপর্যাপ্ত?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- টেক্সট-টু-ইমেজ মডেলের মূল্যায়নের জন্য কেন একা FID অপর্যাপ্ত?
- It requires human annotators for every image
- It never looks at the prompt, so it cannot measure text alignment
- এটি শুধুমাত্র কালো-সাদা ছবিতে কাজ করে
- It measures CLIP similarity instead of realism
- কিভাবে একটি মৌলিক CLIP স্কোর গণনা করা হয়?
- By counting pixels that match the prompt's colors
- By training a discriminator on the generated images
- By averaging Inception features across a dataset
- By taking the cosine similarity between CLIP's image and text embeddings
- PickScore কোন ডেটাসেটে প্রশিক্ষিত ছিল?
- Pick-a-Pic, a set of choices made by users of a web app
- COCO captions only
- ImageNet class labels
- A collection of FID statistics
- CLIP-ভিত্তিক স্কোরিংয়ের কোন দুর্বলতাটি সাধারণ?
- It cannot process color images
- It always penalizes photorealism
- It often misses counts, spatial relations and which attribute belongs to which object
- It requires prompts shorter than five words
- কেন বিভিন্ন ব্যাকবোন থেকে CLIP স্কোর সরাসরি তুলনা করা যাবে না?
- All backbones produce identical scores, so there is nothing to compare
- Different encoders such as ViT-B/32 and ViT-L/14 have different embedding spaces and score ranges
- CLIP score is only defined for one backbone
- Backbones only affect FID, not CLIP score
- What risk arises when a model is optimized directly against a preference score?
- The score becomes impossible to compute
- The model loses the ability to read prompts
- It may learn to please the scorer, for example with oversaturated images, rather than people
- FID automatically improves
- What typically happens to the part of a prompt beyond CLIP's 77-token limit?
- It is scored separately and averaged in
- The encoder expands its context window automatically
- It is summarized into fewer tokens first
- It is truncated, so it never affects the score
- Which kind of evaluation checks whether each object and attribute in a prompt actually appears?
- Question-answering or detector-based benchmarks such as TIFA and GenEval
- FID
- Raw CLIP cosine similarity
- Raising the guidance scale