āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āĻ—āĻžāχāĻĄ

CLIP āĻ¸ā§āϕ⧋āϰ āĻāĻŦāĻ‚ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ

CLIP āĻ¸ā§āϕ⧋āϰ āĻĒāϰāĻŋāĻŽāĻžāĻĒ āĻ•āϰ⧇ āϝ⧇ āĻāĻ•āϟāĻŋ āĻœā§‡āύāĻžāϰ⧇āϟ āĻ•āϰāĻž āĻ›āĻŦāĻŋ āϤāĻžāϰ āĻŸā§‡āĻ•ā§āϏāϟ āĻĒā§āϰāĻŽā§āĻĒāĻŸā§‡āϰ āϏāĻžāĻĨ⧇ āĻ•āϤāϟāĻž āĻ­āĻžāϞ⧋āĻ­āĻžāĻŦ⧇ āĻŽā§‡āϞ⧇āĨ¤

āĻāχ āύāĻŋāĻ°ā§āĻĻ⧇āĻļāĻŋāĻ•āĻž āĻļ⧁āύ⧁āύāĻāφāχ-āĻŦāĻ°ā§āĻŖāĻŋāϤ ¡ ~3 min

āĻāχ āĻĒ⧃āĻˇā§āĻ āĻžāϝāĻŧ4 āĻŽāĻŋāύāĻŋāϟ āĻĒāĻĄāĻŧāĻž
  1. āĻ“āĻ­āĻžāϰāĻ­āĻŋāω
  2. āĻ—āĻ­ā§€āϰ āĻĄā§āĻŦ
  3. āĻŦāĻžāĻ¸ā§āϤāĻŦ-āĻŦāĻŋāĻļā§āĻŦ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ
  4. CLIP āĻ¸ā§āϕ⧋āϰ āĻāĻŦāĻ‚ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ⧇āϰ āĻ­āĻŦāĻŋāĻˇā§āϝāϤ
  5. āĻāϟāĻžāϕ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦ⧇ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āĻšāĻšā§āϛ⧇
  6. āĻ…āĻ¨ā§āĻŦ⧇āώāĻŖ āϚāĻžāϞāĻŋāϝāĻŧ⧇ āϝāĻžāύ
  7. āĻĒā§āϰāĻžāϝāĻŧāĻļāχ āϜāĻŋāĻœā§āĻžāĻžāϏāĻŋāϤ āĻĒā§āϰāĻļā§āύāĻžāĻŦāϞ⧀

āĻ“āĻ­āĻžāϰāĻ­āĻŋāω

āĻāϟāĻŋ OpenAI āĻāϰ CLIP āĻŽāĻĄā§‡āϞ⧇āϰ āϏāĻžāĻĨ⧇ āϚāĻŋāĻ¤ā§āϰ āĻāĻŦāĻ‚ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻāĻŽā§āĻŦ⧇āĻĄ āĻ•āϰ⧇ āĻāĻŦāĻ‚ āĻĻ⧁āϟāĻŋ āĻāĻŽā§āĻŦ⧇āĻĄāĻŋāĻ‚āϝāĻŧ⧇āϰ āϤ⧁āϞāύāĻž āĻ•āϰ⧇āĨ¤ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻŽā§‡āĻŸā§āϰāĻŋāĻ• āϝ⧇āĻŽāύ ImageReward, HPS āĻāĻŦāĻ‚ PickScore āĻšāϞ āĻāĻŽāύ āĻŽāĻĄā§‡āϞ āϝāĻž āĻ­āĻŦāĻŋāĻˇā§āϝāĻĻā§āĻŦāĻžāĻŖā§€ āĻ•āϰāĻžāϰ āϜāĻ¨ā§āϝ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻšāϝāĻŧ āϝ⧇ āϞ⧋āϕ⧇āϰāĻž āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻ›āĻŦāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āϕ⧋āύāϟāĻŋ āĻŦ⧇āϛ⧇ āύ⧇āĻŦ⧇āĨ¤ āĻāχ āĻ¸ā§āϕ⧋āϰāϗ⧁āϞāĻŋ āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ āĻ•āĻžāϰāĻŖ āĻāĻ•āϟāĻŋ āĻ›āĻŦāĻŋ āϤāĻžāϰ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻ…āύ⧁āϏāϰāĻŖ āĻ•āϰ⧇ āĻŦāĻž āϞ⧋āϕ⧇āĻĻ⧇āϰ āĻ•āĻžāϛ⧇ āφāĻŦ⧇āĻĻāύ āĻ•āϰ⧇ āĻ•āĻŋāύāĻž āϏ⧇ āϏāĻŽā§āĻĒāĻ°ā§āϕ⧇ FID āĻāĻ•āĻž āĻ•āĻŋāϛ⧁āχ āĻŦāϞ⧇ āύāĻž āĻāĻŦāĻ‚ āϏ⧇āϗ⧁āϞāĻŋ āĻāĻ–āύ āĻŸā§‡āĻ•ā§āϏāϟ-āϟ⧁-āχāĻŽā§‡āϜ āĻĒ⧇āĻĒāĻžāϰ, āϞāĻŋāĻĄāĻžāϰāĻŦā§‹āĻ°ā§āĻĄ āĻāĻŦāĻ‚ āĻĢāĻžāχāύ-āϟāĻŋāωāύāĻŋāĻ‚ āĻĒāĻžāχāĻĒāϞāĻžāχāύ⧇ āĻŽāĻžāύāĻ•āĨ¤

āĻ—āĻ­ā§€āϰ āĻĄā§āĻŦ

āĻŦāĻ›āϰ⧇āϰ āĻĒāϰ āĻŦāĻ›āϰ āϧāϰ⧇ āχāĻŽā§‡āϜ āĻœā§‡āύāĻžāϰ⧇āĻļāύ āĻĒ⧇āĻĒāĻžāϰ⧇ āĻšā§‡āĻĄāϞāĻžāχāύ āύāĻŽā§āĻŦāϰ āĻ›āĻŋāϞ FID (Frechet Inception Distance)āĨ¤ FID āĻĒā§āϰāĻ•ā§ƒāϤ āĻ›āĻŦāĻŋāϰ āϏāĻžāĻĨ⧇ āĻœā§‡āύāĻžāϰ⧇āϟ āĻ•āϰāĻž āĻ›āĻŦāĻŋ āĻĨ⧇āϕ⧇ āχāύāϏ⧇āĻĒāĻļāύ āύ⧇āϟāĻ“āϝāĻŧāĻžāĻ°ā§āĻ• āĻŦ⧈āĻļāĻŋāĻˇā§āĻŸā§āϝ⧇āϰ āĻĒāϰāĻŋāϏāĻ‚āĻ–ā§āϝāĻžāύ āϤ⧁āϞāύāĻž āĻ•āϰ⧇āĨ¤ āĻāϟāĻŋ āĻāĻ•āϟāĻŋ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻĄā§‡āϟāĻžāϏ⧇āĻŸā§‡āϰ āĻ¸ā§āϤāϰ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦāϤāĻž āĻāĻŦāĻ‚ āĻŦ⧈āϚāĻŋāĻ¤ā§āĻ°ā§āϝāϕ⧇ āĻ•ā§āϝāĻžāĻĒāϚāĻžāϰ āĻ•āϰ⧇, āϤāĻŦ⧇ āĻāϟāĻŋ āĻ•āĻ–āύāχ āĻĒā§āϰāĻŽā§āĻĒāĻŸā§‡āϰ āĻĻāĻŋāϕ⧇ āϤāĻžāĻ•āĻžāϝāĻŧ āύāĻž āĻāĻŦāĻ‚ āĻāϟāĻŋ āĻāĻ•āϟāĻŋ āĻāĻ•āĻ• āϚāĻŋāĻ¤ā§āϰ āĻ­āĻžāϞ āĻ•āĻŋāύāĻž āϤāĻž āφāĻĒāύāĻžāϕ⧇ āĻŦāϞāϤ⧇ āĻĒāĻžāϰ⧇ āύāĻžāĨ¤ CLIP āĻ¸ā§āϕ⧋āϰ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻĢāĻžāρāĻ• āĻĒā§‚āϰāĻŖ āĻ•āϰ⧇āĨ¤ OpenAI 2021 āϏāĻžāϞ⧇ CLIP āĻĒā§āϰāĻ•āĻžāĻļ āĻ•āϰ⧇āϛ⧇, āχāĻŽā§‡āϜ-āĻ•ā§āϝāĻžāĻĒāĻļāύ āĻœā§‹āĻĄāĻŧāĻžāϝāĻŧ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻšāϝāĻŧ⧇āϛ⧇ āϝāĻžāϤ⧇ āĻŽāĻŋāϞ⧇ āϝāĻžāĻ“āϝāĻŧāĻž āĻ›āĻŦāĻŋ āĻāĻŦāĻ‚ āĻŸā§‡āĻ•ā§āϏāϟ āĻāĻ•āϟāĻŋ āĻļ⧇āϝāĻŧāĻžāĻ°ā§āĻĄ āĻāĻŽāĻŦ⧇āĻĄāĻŋāĻ‚ āĻ¸ā§āĻĒ⧇āϏ⧇ āĻāĻ•āϏāĻžāĻĨ⧇ āĻŦāϏ⧇āĨ¤ āĻāĻ•āϟāĻŋ āĻœā§‡āύāĻžāϰ⧇āĻļāύ āĻ¸ā§āϕ⧋āϰ āĻ•āϰāϤ⧇, āφāĻĒāύāĻŋ āχāĻŽā§‡āϜ āĻāĻŦāĻ‚ āĻāϰ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻāĻŽā§āĻŦ⧇āĻĄ āĻ•āϰ⧁āύ āĻāĻŦāĻ‚ āϤāĻžāĻĻ⧇āϰ āĻŽāĻ§ā§āϝ⧇ āϕ⧋āϏāĻžāχāύ āϏāĻžāĻĻ⧃āĻļā§āϝ āύāĻŋāύāĨ¤ āĻĢāϞāĻžāĻĢāϞ āϏāĻžāϧāĻžāϰāĻŖāϤ 100 āĻĻā§āĻŦāĻžāϰāĻž āϗ⧁āĻŖāĻŋāϤ āĻšāϝāĻŧ, āĻŦāĻž āĻšā§‡āϏ⧇āϞ āĻāĻŦāĻ‚ āϏāĻšāĻ•āĻ°ā§āĻŽā§€āĻĻ⧇āϰ āĻĻā§āĻŦāĻžāϰāĻž CLIPScore āĻĒ⧇āĻĒāĻžāϰ⧇āϰ āĻŽāϤ āĻĒ⧁āύāϰāĻžāϝāĻŧ āĻ¸ā§āϕ⧇āϞ āĻ•āϰāĻž āĻšāϝāĻŧāĨ¤ āĻāĻ•āϟāĻŋ āĻĒā§āϰāĻŽā§āĻĒāϟ āϏ⧇āĻŸā§‡āϰ āωāĻĒāϰ āĻ—āĻĄāĻŧ, āĻāĻ•āϟāĻŋ āωāĻšā§āϚ āĻ¸ā§āϕ⧋āϰ āĻŽāĻžāύ⧇ āφāϰāĻ“ āĻ­āĻžāϞ āĻĒāĻžāĻ ā§āϝ āϏāĻžāϰāĻŋāĻŦāĻĻā§āϧāĻ•āϰāĻŖāĨ¤ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻāϗ⧁āϞāĻŋ āĻĨ⧇āϕ⧇ āĻļ⧇āĻ–āĻžāϰ āĻŽāĻžāĻ§ā§āϝāĻŽā§‡ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ āφāϰāĻ“ āĻāĻ• āϧāĻžāĻĒ āĻāĻ—āĻŋāϝāĻŧ⧇ āϝāĻžāϝāĻŧāĨ¤ ImageReward (2023) āĻœā§‡āύāĻžāϰ⧇āϟ āĻ•āϰāĻž āĻ›āĻŦāĻŋāϰ āĻŦāĻŋāĻļ⧇āώāĻœā§āĻž āĻ°â€ā§āϝāĻžāĻ™ā§āĻ•āĻŋāĻ‚āϝāĻŧ⧇āϰ āωāĻĒāϰ āĻāĻ•āϟāĻŋ āĻĒ⧁āϰāĻˇā§āĻ•āĻžāϰ āĻŽāĻĄā§‡āϞ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻ•āϰ⧇āϛ⧇āĨ¤ āĻšāĻŋāωāĻŽā§āϝāĻžāύ āĻĒā§āϰ⧇āĻĢāĻžāϰ⧇āĻ¨ā§āϏ āĻ¸ā§āϕ⧋āϰ (HPS, āĻĒāϰ⧇ HPS v2) āĻāĻ•āχ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻĨ⧇āϕ⧇ āϤ⧈āϰāĻŋ āĻ•āϰāĻž āĻ›āĻŦāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻŦ⧃āĻšā§Ž āϏāĻ‚āĻ—ā§āϰāĻšā§‡āϰ āωāĻĒāϰ āϏ⧂āĻ•ā§āĻˇā§āĻŽ āϏ⧁āϰ āĻ•āϰāĻž CLIPāĨ¤ PickScore-āϕ⧇ Pick-a-Pic-āĻ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻ•āϰāĻž āĻšāϝāĻŧ⧇āĻ›āĻŋāϞ, āĻāĻ•āϟāĻŋ āĻ“āϝāĻŧ⧇āĻŦ āĻ…ā§āϝāĻžāĻĒ⧇āϰ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻ•āĻžāϰ⧀āĻĻ⧇āϰ āĻ•āĻžāĻ› āĻĨ⧇āϕ⧇ āϏāĻ‚āĻ—ā§āϰāĻš āĻ•āϰāĻž āĻĄā§‡āϟāĻžāϏ⧇āϟ āϝāĻžāϰāĻž āϤāĻžāĻĻ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻĻ⧁āϟāĻŋ āϤ⧈āϰāĻŋ āĻ•āϰāĻž āĻ›āĻŦāĻŋ āĻŦ⧇āϛ⧇ āύāĻŋāϝāĻŧ⧇āĻ›āĻŋāϞāĨ¤ āĻāχ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋ āύāĻžāĻ¨ā§āĻĻāύāĻŋāĻ•āϤāĻž, āϏ⧁āϏāĻ‚āĻ—āϤāϤāĻž āĻāĻŦāĻ‚ āφāĻŦ⧇āĻĻāύ⧇āϰ āĻĒāĻžāĻļāĻžāĻĒāĻžāĻļāĻŋ āĻĒā§āϰāĻžāĻ¨ā§āϤāĻŋāĻ•āĻ•āϰāĻŖ āĻ•ā§āϝāĻžāĻĒāϚāĻžāϰ āĻ•āϰ⧇āĨ¤ āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻŽā§‡āĻŸā§āϰāĻŋāĻ• āĻ…āĻ¨ā§āϧ āĻĻāĻžāĻ— āφāϛ⧇. CLIP āφāĻ‚āĻļāĻŋāĻ•āĻ­āĻžāĻŦ⧇ āĻļāĻŦā§āĻĻ⧇āϰ āĻŦā§āϝāĻžāϗ⧇āϰ āĻŽāϤ⧋ āφāϚāϰāĻŖ āĻ•āϰ⧇: āĻāϟāĻŋ āĻĒā§āϰāĻžāϝāĻŧāĻļāχ āĻ—āĻŖāύāĻž, āĻ¸ā§āĻĨāĻžāύāĻŋāĻ• āϏāĻŽā§āĻĒāĻ°ā§āĻ•, āύ⧇āϤāĻŋāĻŦāĻžāϚāĻ•āϤāĻž āĻāĻŦāĻ‚ āϕ⧋āύ āϰāĻ™ āϕ⧋āύ āĻŦāĻ¸ā§āϤ⧁āϰ āĻ…āĻ¨ā§āϤāĻ°ā§āĻ—āϤ āϤāĻž āĻŽāĻŋāϏ āĻ•āϰ⧇āĨ¤ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋ āϤāĻžāĻĻ⧇āϰ āĻŸā§€āĻ•āĻžāĻ•āĻžāϰāĻĻ⧇āϰ āĻ¸ā§āĻŦāĻžāĻĻ⧇āϰ āωāĻ¤ā§āϤāϰāĻžāϧāĻŋāĻ•āĻžāϰ⧀ āĻšāϝāĻŧ āĻāĻŦāĻ‚ āĻāĻ•āϟāĻŋ āĻĒāĻžāϞāĻŋāĻļ, āĻ¸ā§āϝāĻžāϚ⧁āϰ⧇āĻŸā§‡āĻĄ āĻšā§‡āĻšāĻžāϰāĻžāϰ āĻĒāĻ•ā§āώ⧇ āĻšāϤ⧇ āĻĒāĻžāϰ⧇āĨ¤ āĻāχ āϏāĻŦ āĻ¸ā§āϕ⧋āϰ āϗ⧇āĻŽ āĻ•āϰāĻž āϝāĻžāĻŦ⧇. āφāĻĒāύāĻŋ āϝāĻĻāĻŋ āĻāĻ•āϟāĻŋ āĻ¸ā§āϕ⧋āϰ⧇āϰ āĻŦāĻŋāĻĒāϰ⧀āϤ⧇ āϏāϰāĻžāϏāϰāĻŋ āĻāĻ•āϟāĻŋ āĻŽāĻĄā§‡āϞ āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāϜ āĻ•āϰ⧇āύ, āϤāĻžāĻšāϞ⧇ āĻāϟāĻŋ āϞ⧋āϕ⧇āĻĻ⧇āϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤ⧇ āĻ¸ā§āϕ⧋āϰāĻžāϰāϕ⧇ āϖ⧁āĻļāĻŋ āĻ•āϰāϤ⧇ āĻļāĻŋāĻ–āϤ⧇ āĻĒāĻžāϰ⧇āĨ¤ āĻāĻ•āϟāĻŋ āϏāĻžāϧāĻžāϰāĻŖ āϭ⧁āϞ āϧāĻžāϰāĻŖāĻž āĻšāϞ āϝ⧇ āωāĻšā§āϚāϤāϰ CLIP āĻ¸ā§āϕ⧋āϰ āϏāĻŦāϏāĻŽāϝāĻŧ āĻāĻ•āϟāĻŋ āĻ­āĻžāϞ āĻ›āĻŦāĻŋ āĻŦā§‹āĻāĻžāϝāĻŧāĨ¤ āϛ⧋āϟ āĻĒāĻžāĻ°ā§āĻĨāĻ•ā§āϝāϗ⧁āϞāĻŋ āĻĒā§āϰāĻžāϝāĻŧāĻļāχ āĻ—ā§‹āϞāĻŽāĻžāϞ⧇āϰ āĻŽāĻ§ā§āϝ⧇ āĻĨāĻžāϕ⧇ āĻāĻŦāĻ‚ āϝāĻ¤ā§āύāĻļā§€āϞ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ āĻ¸ā§āĻŦāϝāĻŧāĻ‚āĻ•ā§āϰāĻŋāϝāĻŧ āĻ¸ā§āϕ⧋āϰāϗ⧁āϞāĻŋāϕ⧇ āĻ•āĻŽā§āĻĒā§‹āϜāĻŋāĻļāύāĻžāϞ āĻŦ⧇āĻžā§āϚāĻŽāĻžāĻ°ā§āĻ• āĻāĻŦāĻ‚ āĻŽāĻžāύāĻŦ āĻ…āĻ§ā§āϝāϝāĻŧāύ⧇āϰ āϏāĻžāĻĨ⧇ āϝ⧁āĻ•ā§āϤ āĻ•āϰ⧇āĨ¤

āĻŦāĻžāĻ¸ā§āϤāĻŦ-āĻŦāĻŋāĻļā§āĻŦ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ

āĻāĻ•āϟāĻŋ āĻŸā§‡āĻ•ā§āϏāϟ-āϟ⧁-āχāĻŽā§‡āϜ āĻŽāĻĄā§‡āϞ⧇āϰ āĻĻ⧁āϟāĻŋ āĻšā§‡āĻ•āĻĒāϝāĻŧ⧇āĻ¨ā§āĻŸā§‡āϰ āϤ⧁āϞāύāĻž āĻ•āϰ⧇ āĻāĻ•āϟāĻŋ āĻ—āĻŦ⧇āώāĻŖāĻž āĻĻāϞ āĻāĻ•āχ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻĒā§āϰāĻŽā§āĻĒāϟ āϏ⧇āĻŸā§‡āϰ āϜāĻ¨ā§āϝ āĻ›āĻŦāĻŋ āϤ⧈āϰāĻŋ āĻ•āϰ⧇ āĻāĻŦāĻ‚ FID-āĻāϰ āĻĒāĻžāĻļāĻžāĻĒāĻžāĻļāĻŋ āĻ—āĻĄāĻŧ CLIP āĻ¸ā§āϕ⧋āϰ āϰāĻŋāĻĒā§‹āĻ°ā§āϟ āĻ•āϰ⧇āĨ¤ āĻāϟāĻŋ āĻĻ⧇āĻ–āĻžāϝāĻŧ āϝ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻŦāĻžāĻĻāϕ⧇ āφāϘāĻžāϤ āύāĻž āĻ•āϰ⧇āχ āϤāĻžāĻ¤ā§āĻ•ā§āώāĻŖāĻŋāĻ• āφāύ⧁āĻ—āĻ¤ā§āϝ āωāĻ¨ā§āύāϤ āĻšāϝāĻŧ⧇āϛ⧇āĨ¤

āĻāĻ•āϟāĻŋ āχāĻŽā§‡āϜ āĻœā§‡āύāĻžāϰ⧇āĻļāύ āĻ…ā§āϝāĻžāĻĒ āĻĒā§āϰāϤāĻŋ āĻ…āύ⧁āϰ⧋āϧ⧇ āϚāĻžāϰāϜāύ āĻĒā§āϰāĻžāĻ°ā§āĻĨā§€ āϤ⧈āϰāĻŋ āĻ•āϰ⧇, āϤāĻžāĻĻ⧇āϰ PickScore āĻĻāĻŋāϝāĻŧ⧇ āĻ°â€ā§āϝāĻžāĻ™ā§āĻ• āĻ•āϰ⧇ āĻāĻŦāĻ‚ āĻĒā§āϰāĻĨāĻŽā§‡ āϏāĻ°ā§āĻŦā§‹āĻšā§āϚ-āĻ¸ā§āϕ⧋āϰāĻŋāĻ‚ āχāĻŽā§‡āϜ āĻĻ⧇āĻ–āĻžāϝāĻŧāĨ¤

āĻāĻ•āϟāĻŋ āϏ⧂āĻ•ā§āĻˇā§āĻŽ-āϟāĻŋāωāύāĻŋāĻ‚ āĻĒā§āϰāĻ•āĻ˛ā§āĻĒ āĻāĻ•āϟāĻŋ Stable Diffusion āĻŽāĻĄā§‡āϞāϕ⧇ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āφāωāϟāĻĒ⧁āĻŸā§‡āϰ āĻĻāĻŋāϕ⧇ āϠ⧇āϞ⧇ āĻĻ⧇āĻ“āϝāĻŧāĻžāϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āĻĒ⧁āϰāĻ¸ā§āĻ•āĻžāϰ āϏāĻ‚āϕ⧇āϤ āĻšāĻŋāϏāĻžāĻŦ⧇ ImageReward āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇āĨ¤ āϟāĻŋāĻŽ āϤāĻžāϰāĻĒāϰ āĻšāĻžāϤ āĻĻāĻŋāϝāĻŧ⧇ āύāĻŽā§āύāĻž āĻĒāϰ⧀āĻ•ā§āώāĻž āĻ•āϰ⧇ āĻĒ⧁āϰāĻ¸ā§āĻ•āĻžāϰ āĻšā§āϝāĻžāĻ•āĻŋāĻ‚ āϧāϰāϤ⧇, āϝ⧇āĻŽāύ āĻ“āĻ­āĻžāϰāĻ¸ā§āϝāĻžāϚ⧁āϰ⧇āĻŸā§‡āĻĄ āϰāĻ‚āĨ¤

āĻāĻ•āϜāύ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύāĻ•āĻžāϰ⧀ āĻĻ⧇āϖ⧇āύ āϝ⧇ āĻāĻ•āϟāĻŋ āĻŽāĻĄā§‡āϞ 'āύ⧀āϞ āĻ—ā§‹āϞāϕ⧇āϰ āωāĻĒāϰ⧇ āĻāĻ•āϟāĻŋ āϞāĻžāϞ āϘāύāĻ•'-āĻāϰ āϜāĻ¨ā§āϝ CLIP āĻ¸ā§āϕ⧋āϰ⧇ āĻ­āĻžāϞ āĻ¸ā§āϕ⧋āϰ āĻ•āϰ⧇āϛ⧇ āϝāĻĻāĻŋāĻ“ āϰāĻ‚āϗ⧁āϞāĻŋ āĻ…āĻĻāϞāĻŦāĻĻāϞ āĻ•āϰāĻž āĻšāϝāĻŧ⧇āϛ⧇āĨ¤ āĻāχ āĻ…ā§āϝāĻžāĻŸā§āϰāĻŋāĻŦāĻŋāωāϟ-āĻŦāĻžāχāĻ¨ā§āĻĄāĻŋāĻ‚ āĻ¤ā§āϰ⧁āϟāĻŋāϗ⧁āϞāĻŋ āϧāϰāϤ⧇ āϤāĻžāϰāĻž āĻāĻ•āϟāĻŋ āĻĄāĻŋāĻŸā§‡āĻ•ā§āϟāϰ-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āϰāϚāύāĻžāĻŽā§‚āϞāĻ• āĻŦ⧇āĻžā§āϚāĻŽāĻžāĻ°ā§āĻ• āϝ⧁āĻ•ā§āϤ āĻ•āϰ⧇ āϝ⧇āĻŽāύ GenEvalāĨ¤

CLIP āĻ¸ā§āϕ⧋āϰ āĻāĻŦāĻ‚ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ⧇āϰ āĻ­āĻŦāĻŋāĻˇā§āϝāϤ

āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ āĻāĻŽāύ āĻĒāĻĻā§āϧāϤāĻŋāϰ āĻĻāĻŋāϕ⧇ āĻāĻ—āĻŋāϝāĻŧ⧇ āϝāĻžāĻšā§āϛ⧇ āϝāĻž āĻāĻ•āϟāĻŋ āĻŦ⧈āĻļā§āĻŦāĻŋāĻ• āĻŽāĻŋāϞ āϏāĻ‚āĻ–ā§āϝāĻžāϰ āωāĻĒāϰ āύāĻŋāĻ°ā§āĻ­āϰ āύāĻž āĻ•āϰ⧇ āĻāĻ•āϟāĻŋ āĻ›āĻŦāĻŋāϤ⧇ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āĻĻāĻžāĻŦāĻŋ āĻĒāϰ⧀āĻ•ā§āώāĻž āĻ•āϰ⧇āĨ¤ āĻĒā§āϰāĻļā§āύ-āωāĻ¤ā§āϤāϰ āĻĻ⧇āĻ“āϝāĻŧāĻžāϰ āĻĒāĻĻā§āϧāϤāĻŋ āϝ⧇āĻŽāύ TIFA āĻāĻŦāĻ‚ āĻĄāĻŋāĻŸā§‡āĻ•ā§āϟāϰ-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āĻŦ⧇āĻžā§āϚāĻŽāĻžāĻ°ā§āĻ• āϝ⧇āĻŽāύ GenEval āϜāĻŋāĻœā§āĻžāĻžāϏāĻž āĻ•āϰ⧇ āϝ⧇ āĻĒā§āϰāĻŽā§āĻĒāĻŸā§‡ āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻŦāĻ¸ā§āϤ⧁, āĻ—āĻŖāύāĻž āĻāĻŦāĻ‚ āĻŦ⧈āĻļāĻŋāĻˇā§āĻŸā§āϝ āφāϏāϞ⧇ āωāĻĒāĻ¸ā§āĻĨāĻŋāϤ āĻšāϝāĻŧ āĻ•āĻŋāύāĻžāĨ¤ āĻŽāĻžāĻ˛ā§āϟāĻŋāĻŽāĻĄāĻžāϞ āĻ­āĻžāώāĻžāϰ āĻŽāĻĄā§‡āϞāϗ⧁āϞāĻŋāĻ“ āĻŦāĻŋāϚāĻžāϰāĻ• āĻšāĻŋāϏāĻžāĻŦ⧇ āφāϰāĻ“ āĻŦ⧇āĻļāĻŋ āĻŦā§āϝāĻŦāĻšā§ƒāϤ āĻšāϝāĻŧāĨ¤ āĻāχ āϏāϰāĻžā§āϜāĻžāĻŽāϗ⧁āϞāĻŋāϰ āύāĻŋāϜāĻ¸ā§āĻŦ āĻ¤ā§āϰ⧁āϟāĻŋ āĻāĻŦāĻ‚ āĻĒāĻ•ā§āώāĻĒāĻžāϤ āϰāϝāĻŧ⧇āϛ⧇, āϤāĻžāχ āĻāϗ⧁āϞāĻŋ āĻĒā§āϰāϤāĻŋāĻ¸ā§āĻĨāĻžāĻĒāύ⧇āϰ āĻšā§‡āϝāĻŧ⧇ āĻāĻŽā§āĻŦ⧇āĻĄāĻŋāĻ‚ āĻ¸ā§āϕ⧋āϰāϗ⧁āϞāĻŋāϕ⧇ āĻĒāϰāĻŋāĻĒā§‚āϰāĻ• āĻ•āϰāĻžāϰ āϏāĻŽā§āĻ­āĻžāĻŦāύāĻž āĻŦ⧇āĻļāĻŋāĨ¤ āĻŽāĻžāύāĻŦ āĻ…āĻ§ā§āϝāϝāĻŧāύ āĻāĻŦāĻ‚ āĻĒāĻžāĻŦāϞāĻŋāĻ• āĻāϰ⧇āύāĻž āϰ⧇āĻĢāĻžāϰ⧇āĻ¨ā§āϏ āĻĒāϝāĻŧ⧇āĻ¨ā§āϟ āĻĨ⧇āϕ⧇ āϝāĻžāϝāĻŧ. āĻ—āĻŦ⧇āώāĻ•āϰāĻž āĻāĻ–āύāĻ“ āĻŦāĻŋāϤāĻ°ā§āĻ• āĻ•āϰāϛ⧇āύ āϕ⧀āĻ­āĻžāĻŦ⧇ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻĄā§‡āϟāĻž āϏāĻ‚āĻ—ā§āϰāĻš āĻ•āϰāϤ⧇ āĻšāϝāĻŧ āϝāĻž āĻŸā§€āĻ•āĻžāĻ•āĻžāϰāĻĻ⧇āϰ āĻāĻ•āϟāĻŋ āϏāĻ‚āϕ⧀āĻ°ā§āĻŖ āĻ—ā§‹āĻˇā§āĻ ā§€āϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤ⧇ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻ•āĻžāϰ⧀āĻĻ⧇āϰ āĻŦāĻŋāĻ¸ā§āϤ⧃āϤ āĻĒāϰāĻŋāϏāϰāϕ⧇ āĻĒā§āϰāϤāĻŋāĻĢāϞāĻŋāϤ āĻ•āϰ⧇āĨ¤

āĻāϟāĻžāϕ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦ⧇ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āĻšāĻšā§āϛ⧇

āϕ⧇āύ āĻāϟāĻž āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ

  • āĻ–āϰāϚ āĻ“ āĻŦāĻžāĻœā§‡āϟ. āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ⧇āϰ āϏāĻŋāĻĻā§āϧāĻžāĻ¨ā§āϤāϗ⧁āϞāĻŋ āĻŦāĻ›āϰ⧇āϰ āĻĒāϰ āĻŦāĻ›āϰ āϧāϰ⧇ āĻ•āĻ°ā§āĻŽāĻ•ā§āώāĻŽāϤāĻž āĻāĻŦāĻ‚ āĻ…āĻĒāĻžāϰ⧇āϟāĻŋāĻ‚ āĻ–āϰāϚ āϚāĻžāϞāĻžāϝāĻŧāĨ¤
  • āϏ⧁āĻ¸ā§āĻĒāĻˇā§āϟ āϏāĻŋāĻĻā§āϧāĻžāĻ¨ā§āϤ. āĻ•āĻžāϰāĻŋāĻ—āϰāĻŋ āĻļāĻŋāĻ•ā§āώāĻž āĻĻāϞāϗ⧁āϞ⧋āϕ⧇ āϏāĻ āĻŋāĻ• āĻ¸ā§āĻŸā§āϝāĻžāĻ• āĻŦ⧇āϛ⧇ āύāĻŋāϤ⧇ āϏāĻžāĻšāĻžāĻ¯ā§āϝ āĻ•āϰ⧇, āĻļ⧁āϧ⧁ āύāϤ⧁āύāϟāĻŋ āύāϝāĻŧāĨ¤
  • āĻŽāĻžāύ āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ. āĻ­āĻžāϞ⧋ āχāĻžā§āϜāĻŋāύāĻŋāϝāĻŧāĻžāϰāĻŋāĻ‚ āĻĒāĻ›āĻ¨ā§āĻĻ āĻ‰ā§ŽāĻĒāĻžāĻĻāύ⧇ āύāĻŋāĻ°ā§āĻ­āϰāϝ⧋āĻ—ā§āϝāϤāĻžāϰ āϘāϟāύāĻž āĻ•āĻŽāĻŋāϝāĻŧ⧇ āĻĻ⧇āϝāĻŧāĨ¤

āϜāĻ¨ā§āϝ āϏāϤāĻ°ā§āĻ•

  • āĻāĻ•āϟāĻŋ āĻŦ⧇āĻžā§āϚāĻŽāĻžāĻ°ā§āĻ• āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāϜ āĻ•āϰāĻž āĻŦ⧃āĻšāĻ¤ā§āϤāϰ āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽ āĻĻ⧁āĻ°ā§āĻŦāϞāϤāĻž āφāĻĄāĻŧāĻžāϞ āĻ•āϰāϤ⧇ āĻĒāĻžāϰ⧇āĨ¤
  • āĻ…āĻŦāĻ•āĻžāĻ āĻžāĻŽā§‹ āĻāĻŦāĻ‚ āϰāĻ•ā§āώāĻŖāĻžāĻŦ⧇āĻ•ā§āώāϪ⧇āϰ āĻ–āϰāϚ āĻĒā§āϰāĻžāϝāĻŧāχ āĻ…āĻŦāĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ āĻ•āϰāĻž āĻšāϝāĻŧāĨ¤
  • āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽāϗ⧁āϞāĻŋ āφāϰāĻ“ āϜāϟāĻŋāϞ āĻšāĻ“āϝāĻŧāĻžāϰ āϏāĻžāĻĨ⧇ āϏāĻžāĻĨ⧇ āϏ⧁āϰāĻ•ā§āώāĻž āĻāĻŦāĻ‚ āĻĒāĻ°ā§āϝāĻŦ⧇āĻ•ā§āώāĻŖāϝ⧋āĻ—ā§āϝāϤāĻžāϰ āĻĢāĻžāρāĻ• āĻŦāĻžāĻĄāĻŧāϤ⧇ āĻĒāĻžāϰ⧇āĨ¤

āĻĒāϰāĻŦāĻ°ā§āϤ⧀ āĻĒāĻĻāĻ•ā§āώ⧇āĻĒ

  1. āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ⧇āϰ āφāϗ⧇ āĻŦāĻŋāϞāĻŽā§āĻŦ, āϗ⧁āĻŖāĻŽāĻžāύ āĻāĻŦāĻ‚ āĻ–āϰāĻšā§‡āϰ āϞāĻ•ā§āĻˇā§āϝ āύāĻŋāĻ°ā§āϧāĻžāϰāĻŖ āĻ•āϰ⧁āύāĨ¤
  2. āĻŦāĻžāĻ¸ā§āϤāĻŦāϏāĻŽā§āĻŽāϤ āϞ⧋āĻĄ āĻāĻŦāĻ‚ āĻĄā§‡āϟāĻž āĻ…āĻŦāĻ¸ā§āĻĨāĻžāϰ āĻ…āϧ⧀āύ⧇ āĻŦ⧇āĻžā§āϚāĻŽāĻžāĻ°ā§āĻ•āĨ¤
  3. āĻ¤ā§āϰ⧁āϟāĻŋ, āĻĒā§āϰāĻŦāĻžāĻš, āĻāĻŦāĻ‚ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻ•āĻžāϰ⧀āϰ āĻĒā§āϰāĻ­āĻžāĻŦ⧇āϰ āϜāĻ¨ā§āϝ āϝāĻ¨ā§āĻ¤ā§āϰ āĻĒāĻ°ā§āϝāĻŦ⧇āĻ•ā§āώāĻŖāĨ¤
  4. āĻ¸ā§āϕ⧇āϞ āĻ•āϰāĻžāϰ āφāϗ⧇ āϰ⧋āϞāĻŦā§āϝāĻžāĻ• āĻāĻŦāĻ‚ āϘāϟāύāĻžāϰ āĻĒā§āϰāϤāĻŋāĻ•ā§āϰāĻŋāϝāĻŧāĻž āĻĒāĻžāĻĨ āĻĒā§āϰāĻ¸ā§āϤ⧁āϤ āĻ•āϰ⧁āύāĨ¤

āĻ…āĻ¨ā§āĻŦ⧇āώāĻŖ āϚāĻžāϞāĻŋāϝāĻŧ⧇ āϝāĻžāύ

āĻĢā§āϰāĻŋ āύāĻŋāωāϜāϞ⧇āϟāĻžāϰ

āĻĒā§āϰāϤāĻŋāĻĻāĻŋāύ⧇āϰ āĻāφāχ āĻŦā§āϰāĻŋāĻĢāĻŋāĻ‚ āĻĒāĻžāύ

āĻĒā§āϰāϤāĻŋ āϏāĻĒā§āϤāĻžāĻšā§‡āϰ āĻ•āĻžāĻœā§‡āϰ āĻĻāĻŋāύ āϏāĻ•āĻžāϞ⧇ āϤāĻŋāύāϟāĻŋ āϝāĻžāϚāĻžāχāĻ•ā§ƒāϤ āĻāφāχ āĻ¸ā§āĻŸā§‹āϰāĻŋ, āϏāĻšāϜ āχāĻ‚āϰ⧇āϜāĻŋāϤ⧇ āϞ⧇āĻ–āĻžāĨ¤ āϚāĻŋāϰāĻ•āĻžāϞ⧇āϰ āϜāĻ¨ā§āϝ āĻĢā§āϰāĻŋ, āϕ⧋āύ⧋ āĻŦāĻŋāĻœā§āĻžāĻžāĻĒāύ āύ⧇āχāĨ¤

āĻĒā§āϰāϤāĻŋ āϏāĻĒā§āϤāĻžāĻšā§‡āϰ āĻ•āĻžāĻœā§‡āϰ āĻĻāĻŋāύ⧇ āĻāĻ•āϟāĻŋ āχāĻŽā§‡āϞāĨ¤ āĻāĻ• āĻ•ā§āϞāĻŋāϕ⧇āχ āφāύāϏāĻžāĻŦāĻ¸ā§āĻ•ā§āϰāĻžāχāĻŦ āĻ•āϰ⧁āύāĨ¤ āφāĻŽāϰāĻž āĻ•āĻ–āύ⧋āχ āφāĻĒāύāĻžāϰ āĻ āĻŋāĻ•āĻžāύāĻž āĻŦāĻŋāĻ•ā§āϰāĻŋ āĻŦāĻž āĻļā§‡ā§ŸāĻžāϰ āĻ•āϰāĻŋ āύāĻžāĨ¤

āύāĻŋāĻœā§‡āϕ⧇ āĻĒāϰ⧀āĻ•ā§āώāĻž āĻ•āϰ⧁āύ

CLIP āĻ¸ā§āϕ⧋āϰ āĻāĻŦāĻ‚ āĻšāĻŋāωāĻŽā§āϝāĻžāύ āĻĒā§āϰ⧇āĻĢāĻžāϰ⧇āĻ¨ā§āϏ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ āϕ⧁āχāϜ āύāĻŋāύ

āĻĒā§āϰāϤāĻŋāϟāĻŋ āωāĻ¤ā§āϤāϰ⧇āϰ āϤāĻžā§ŽāĻ•ā§āώāĻŖāĻŋāĻ• āĻĢāĻŋāĻĄāĻŦā§āϝāĻžāĻ•, āĻāĻŦāĻ‚ āϕ⧋āĻ°ā§āϏ āĻĒāĻžāϏ āĻ•āϰāĻžāϰ āĻĒāϰ āϝāĻžāϚāĻžāχāϝ⧋āĻ—ā§āϝ āφāχāĻĄāĻŋ āϏāĻš āĻāĻ•āϟāĻŋ āĻļā§‡ā§ŸāĻžāϰāϝ⧋āĻ—ā§āϝ āϏāĻžāĻ°ā§āϟāĻŋāĻĢāĻŋāϕ⧇āϟāĨ¤

āϕ⧁āχāϜ āĻļ⧁āϰ⧁ āĻ•āϰ⧁āύ

āĻĢā§āϰāĻŋ āĻāφāχ āĻļāĻŋāĻ•ā§āώāĻžāϕ⧇ āϏāĻŽāĻ°ā§āĻĨāύ āĻ•āϰ⧁āύāĨ¤ AI Understanding āĻāĻ•āϟāĻŋ 501(c)(3) āĻ…āϞāĻžāĻ­āϜāύāĻ• āĻĒā§āϰāϤāĻŋāĻˇā§āĻ āĻžāύ — āϕ⧋āύ⧋ āĻŦāĻŋāĻœā§āĻžāĻžāĻĒāύ āύ⧇āχ, āϕ⧋āύ⧋ āĻĒ⧇āĻ“ā§ŸāĻžāϞ āύ⧇āχ, āĻ•āĻ–āύ⧋āχ āύāĻžāĨ¤ āĻāĻ•āϟāĻŋ āĻĻāĻžāύ āĻ•āϰ⧁āύ

āĻĒā§āϰāĻžāϝāĻŧāĻļāχ āϜāĻŋāĻœā§āĻžāĻžāϏāĻŋāϤ āĻĒā§āϰāĻļā§āύāĻžāĻŦāϞ⧀

CLIP āĻ¸ā§āϕ⧋āϰ āĻāĻŦāĻ‚ āĻšāĻŋāωāĻŽā§āϝāĻžāύ āĻĒā§āϰ⧇āĻĢāĻžāϰ⧇āĻ¨ā§āϏ āĻŽā§‡āĻŸā§āϰāĻŋāĻ•ā§āϏ āĻ•āĻŋ?

CLIP āĻ¸ā§āϕ⧋āϰ āĻĒāϰāĻŋāĻŽāĻžāĻĒ āĻ•āϰ⧇ āϝ⧇ āĻāĻ•āϟāĻŋ āωāĻ¤ā§āĻĒāĻ¨ā§āύ āϚāĻŋāĻ¤ā§āϰ āϤāĻžāϰ āĻŸā§‡āĻ•ā§āϏāϟ āĻĒā§āϰāĻŽā§āĻĒāĻŸā§‡āϰ āϏāĻžāĻĨ⧇ āĻ•āϤāϟāĻž āĻ­āĻžāϞ⧋āĻ­āĻžāĻŦ⧇ āĻŽā§‡āϞ⧇āĨ¤ āĻāϟāĻŋ OpenAI āĻāϰ CLIP āĻŽāĻĄā§‡āϞ⧇āϰ āϏāĻžāĻĨ⧇ āϚāĻŋāĻ¤ā§āϰ āĻāĻŦāĻ‚ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻāĻŽā§āĻŦ⧇āĻĄ āĻ•āϰ⧇ āĻāĻŦāĻ‚ āĻĻ⧁āϟāĻŋ āĻāĻŽā§āĻŦ⧇āĻĄāĻŋāĻ‚āϝāĻŧ⧇āϰ āϤ⧁āϞāύāĻž āĻ•āϰ⧇āĨ¤ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻŽā§‡āĻŸā§āϰāĻŋāĻ• āϝ⧇āĻŽāύ ImageReward, HPS āĻāĻŦāĻ‚ PickScore āĻšāϞ āĻāĻŽāύ āĻŽāĻĄā§‡āϞ āϝāĻž āĻ­āĻŦāĻŋāĻˇā§āϝāĻĻā§āĻŦāĻžāĻŖā§€ āĻ•āϰāĻžāϰ āϜāĻ¨ā§āϝ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻšāϝāĻŧ āϝ⧇ āϞ⧋āϕ⧇āϰāĻž āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻ›āĻŦāĻŋāϰ āĻŽāĻ§ā§āϝ⧇ āϕ⧋āύāϟāĻŋ āĻŦ⧇āϛ⧇ āύ⧇āĻŦ⧇āĨ¤ āĻāχ āĻ¸ā§āϕ⧋āϰāϗ⧁āϞāĻŋ āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ āĻ•āĻžāϰāĻŖ āĻāĻ•āϟāĻŋ āĻ›āĻŦāĻŋ āϤāĻžāϰ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻ…āύ⧁āϏāϰāĻŖ āĻ•āϰ⧇ āĻŦāĻž āϞ⧋āϕ⧇āĻĻ⧇āϰ āĻ•āĻžāϛ⧇ āφāĻŦ⧇āĻĻāύ āĻ•āϰ⧇ āĻ•āĻŋāύāĻž āϏ⧇ āϏāĻŽā§āĻĒāĻ°ā§āϕ⧇ FID āĻāĻ•āĻž āĻ•āĻŋāϛ⧁āχ āĻŦāϞ⧇ āύāĻž āĻāĻŦāĻ‚ āϏ⧇āϗ⧁āϞāĻŋ āĻāĻ–āύ āĻŸā§‡āĻ•ā§āϏāϟ-āϟ⧁-āχāĻŽā§‡āϜ āĻĒ⧇āĻĒāĻžāϰ, āϞāĻŋāĻĄāĻžāϰāĻŦā§‹āĻ°ā§āĻĄ āĻāĻŦāĻ‚ āĻĢāĻžāχāύ-āϟāĻŋāωāύāĻŋāĻ‚ āĻĒāĻžāχāĻĒāϞāĻžāχāύ⧇ āĻŽāĻžāύāĻ•āĨ¤

āĻŸā§‡āĻ•ā§āϏāϟ-āϟ⧁-āχāĻŽā§‡āϜ āĻŽāĻĄā§‡āϞ⧇āϰ āĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ⧇āϰ āϜāĻ¨ā§āϝ āϕ⧇āύ āĻāĻ•āĻž FID āĻ…āĻĒāĻ°ā§āϝāĻžāĻĒā§āϤ?

FID āĻāĻ•āϟāĻŋ āĻĄā§‡āϟāĻžāϏ⧇āϟ āϜ⧁āĻĄāĻŧ⧇ āĻœā§‡āύāĻžāϰ⧇āϟ āĻ•āϰāĻž āĻāĻŦāĻ‚ āĻŦāĻžāĻ¸ā§āϤāĻŦ āϚāĻŋāĻ¤ā§āϰāϗ⧁āϞāĻŋāϰ āĻŦ⧈āĻļāĻŋāĻˇā§āĻŸā§āϝ⧇āϰ āĻĒāϰāĻŋāϏāĻ‚āĻ–ā§āϝāĻžāύ āϤ⧁āϞāύāĻž āĻ•āϰ⧇āĨ¤ āĻāϟāĻŋ āĻŦāĻžāĻ¸ā§āϤāĻŦāϤāĻž āĻāĻŦāĻ‚ āĻŦ⧈āϚāĻŋāĻ¤ā§āĻ°ā§āϝāϕ⧇ āĻ•ā§āϝāĻžāĻĒāϚāĻžāϰ āĻ•āϰ⧇ āĻ•āĻŋāĻ¨ā§āϤ⧁ āĻĒā§āϰāĻŽā§āĻĒāϟāϟāĻŋāϕ⧇ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖāϰ⧂āĻĒ⧇ āωāĻĒ⧇āĻ•ā§āώāĻž āĻ•āϰ⧇, āϝāĻž āĻĒā§‚āϰāĻŖ āĻ•āϰāĻžāϰ āϜāĻ¨ā§āϝ CLIP āĻ¸ā§āϕ⧋āϰ āφāύāĻž āĻšāϝāĻŧ⧇āĻ›āĻŋāϞāĨ¤

āĻ•āĻŋāĻ­āĻžāĻŦ⧇ āĻāĻ•āϟāĻŋ āĻŽā§ŒāϞāĻŋāĻ• CLIP āĻ¸ā§āϕ⧋āϰ āĻ—āĻŖāύāĻž āĻ•āϰāĻž āĻšāϝāĻŧ?

CLIP āĻāĻ•āϟāĻŋ āĻļ⧇āϝāĻŧāĻžāĻ°ā§āĻĄ āĻāĻŽāĻŦ⧇āĻĄāĻŋāĻ‚ āĻ¸ā§āĻĒ⧇āϏ⧇ āĻ›āĻŦāĻŋ āĻāĻŦāĻ‚ āĻŸā§‡āĻ•ā§āϏāϟ āϰāĻžāϖ⧇āĨ¤ āĻ¸ā§āϕ⧋āϰ āĻšāϞ āχāĻŽā§‡āϜ āĻāĻŽā§āĻŦ⧇āĻĄāĻŋāĻ‚ āĻāĻŦāĻ‚ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻāĻŽā§āĻŦ⧇āĻĄāĻŋāĻ‚āϝāĻŧ⧇āϰ āĻŽāĻ§ā§āϝ⧇ āϕ⧋āϏāĻžāχāύ āϏāĻžāĻĻ⧃āĻļā§āϝ, āĻĒā§āϰāĻžāϝāĻŧāĻļāχ 100 āĻĻā§āĻŦāĻžāϰāĻž āĻ¸ā§āϕ⧇āϞ āĻ•āϰāĻž āĻšāϝāĻŧāĨ¤

PickScore āϕ⧋āύ āĻĄā§‡āϟāĻžāϏ⧇āĻŸā§‡ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻ›āĻŋāϞ?

PickScore-āϕ⧇ Pick-a-Pic-āĻ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŋāϤ āĻ•āϰāĻž āĻšāϝāĻŧ⧇āĻ›āĻŋāϞ, āϝ⧇āĻ–āĻžāύ⧇ āĻ“āϝāĻŧ⧇āĻŦ āĻ…ā§āϝāĻžāĻĒ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻ•āĻžāϰ⧀āϰāĻž āĻāĻ•āχ āĻĒā§āϰāĻŽā§āĻĒāĻŸā§‡āϰ āϜāĻ¨ā§āϝ āϤāĻžāĻĻ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻĻ⧁āϟāĻŋ āĻœā§‡āύāĻžāϰ⧇āϟ āĻ•āϰāĻž āĻ›āĻŦāĻŋ āĻŦ⧇āϛ⧇ āύ⧇āϝāĻŧāĨ¤

CLIP-āĻ­āĻŋāĻ¤ā§āϤāĻŋāĻ• āĻ¸ā§āϕ⧋āϰāĻŋāĻ‚āϝāĻŧ⧇āϰ āϕ⧋āύ āĻĻ⧁āĻ°ā§āĻŦāϞāϤāĻžāϟāĻŋ āϏāĻžāϧāĻžāϰāĻŖ?

CLIP āφāĻ‚āĻļāĻŋāĻ•āĻ­āĻžāĻŦ⧇ āĻļāĻŦā§āĻĻ⧇āϰ āĻŦā§āϝāĻžāϗ⧇āϰ āĻŽāϤ⧋ āφāϚāϰāĻŖ āĻ•āϰ⧇āĨ¤ āĻāϟāĻŋ āϞāĻ•ā§āĻˇā§āϝ āĻ•āϰ⧇ āϝ⧇ āϕ⧋āύ āϧāĻžāϰāĻŖāĻžāϗ⧁āϞāĻŋ āωāĻĒāĻ¸ā§āĻĨāĻŋāϤ āϰāϝāĻŧ⧇āϛ⧇ āĻ•āĻŋāĻ¨ā§āϤ⧁ āĻĒā§āϰāĻžāϝāĻŧāĻļāχ āϤāĻžāϰāĻž āϕ⧀āĻ­āĻžāĻŦ⧇ āϏāĻŽā§āĻĒāĻ°ā§āĻ•āϝ⧁āĻ•ā§āϤ āϤāĻž āĻŽāĻŋāϏ āĻ•āϰ⧇, āϝ⧇āĻŽāύ āĻ—āĻŖāύāĻž, āĻ…āĻŦāĻ¸ā§āĻĨāĻžāύ āĻŦāĻž āϰāϙ⧇āϰ āĻŦāĻžāρāϧāĻžāχāĨ¤

āϕ⧇āύ āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻŦā§āϝāĻžāĻ•āĻŦā§‹āύ āĻĨ⧇āϕ⧇ CLIP āĻ¸ā§āϕ⧋āϰ āϏāϰāĻžāϏāϰāĻŋ āϤ⧁āϞāύāĻž āĻ•āϰāĻž āϝāĻžāĻŦ⧇ āύāĻž?

āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻāύāϕ⧋āĻĄāĻžāϰ āϤāĻžāϰ āύāĻŋāϜāĻ¸ā§āĻŦ āĻāĻŽā§āĻŦ⧇āĻĄāĻŋāĻ‚ āĻ¸ā§āĻĨāĻžāύ āĻļāĻŋāϖ⧇, āϤāĻžāχ āĻāĻ•āχ āϚāĻŋāĻ¤ā§āϰ āĻāĻŦāĻ‚ āĻĒā§āϰāĻŽā§āĻĒāϟ āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻāύāϕ⧋āĻĄāĻžāϰ āĻĨ⧇āϕ⧇ āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āύ āĻ¸ā§āϕ⧋āϰ āĻĒāĻžāϝāĻŧāĨ¤ āĻ•āĻžāĻ—āϜāĻĒāĻ¤ā§āϰ āĻ…āĻŦāĻļā§āϝāχ āωāĻ˛ā§āϞ⧇āĻ– āĻ•āϰāϤ⧇ āĻšāĻŦ⧇ āϝ⧇ āϤāĻžāϰāĻž āϕ⧋āύ āĻāύāϕ⧋āĻĄāĻžāϰ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇āϛ⧇āĨ¤

āĻļāĻŋāĻ–āϤ⧇ āĻĨāĻžāϕ⧁āύ

āϏāĻŽā§āĻĒāĻ°ā§āĻ•āĻŋāϤ āĻ—āĻžāχāĻĄ

āĻāχ āĻŦāĻŋāώāϝāĻŧ⧇āϰ āϜāĻ¨ā§āϝ āĻŦāĻžāĻ›āĻžāχ āĻ•āϰāĻž āφāϰāĻ“ āĻ—āĻžāχāĻĄ

āĻĒāϰāĻŦāĻ°ā§āϤ⧀ āφāĻĒāĻĒāϰāĻŦāĻ°ā§āϤ⧀ āĻ—āĻžāχāĻĄ

RLHF-āĻāϰ āϜāĻ¨ā§āϝ āĻŽāĻžāύ⧁āώ⧇āϰ āĻĒāĻ›āĻ¨ā§āĻĻ⧇āϰ āĻĄā§‡āϟāĻž āϏāĻ‚āĻ—ā§āϰāĻš āĻ•āϰāĻž

āĻ­āĻžāώāĻž āĻāφāχ

āĻāĻ•āϟāĻŋ āĻŦāĻŋāύāĻžāĻŽā§‚āĻ˛ā§āϝ⧇ AI āĻļāĻ‚āϏāĻžāĻĒāĻ¤ā§āϰ āĻĒāĻžāύāĻāĻ•āϟāĻŋ āϏāĻ‚āĻ•ā§āώāĻŋāĻĒā§āϤ āĻŦāĻŋāύāĻžāĻŽā§‚āĻ˛ā§āϝ⧇ āϕ⧋āĻ°ā§āϏ āĻāĻŦāĻ‚ āĻĒāϰ⧀āĻ•ā§āώāĻž. āϕ⧋āύ⧋ āĻ–āϰāϚ āύ⧇āχ, āϕ⧋āύ⧋ āĻ•āĻžāĻ°ā§āĻĄ āύ⧇āχāĨ¤ āĻĒā§āϰāĻžāϝāĻŧ 2.5 āϘāĻ¨ā§āϟāĻžāĨ¤āĻŦāĻŋāύāĻžāĻŽā§‚āĻ˛ā§āϝ⧇ āĻļ⧁āϰ⧁ āĻ•āϰ⧁āύ →