āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

āļ•āļąāļ§āļŠāļĩāđ‰āļ§āļąāļ”āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļœāļĨ ROUGE āđāļĨāļ° BLEU

ROUGE āđāļĨāļ° BLEU āđ€āļ›āđ‡āļ™āļŦāļ™āđˆāļ§āļĒāļ§āļąāļ”āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļ—āļĩāđˆāļŠāđˆāļ§āļĒāđƒāļ™āļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļ‚āđ‰āļ­āļ„āļ§āļēāļĄāļ—āļĩāđˆāļŠāļĢāđ‰āļēāļ‡āđ‚āļ”āļĒāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļāļąāļšāļāļēāļĢāļ­āđ‰āļēāļ‡āļ­āļīāļ‡āđ‚āļ”āļĒāļĄāļ™āļļāļĐāļĒāđŒ

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āđ€āļĄāļ•āļĢāļīāļāļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļœāļĨ ROUGE āđāļĨāļ° BLEU
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

BLEU āļ–āļđāļāļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āđ€āļžāļ·āđˆāļ­āļāļēāļĢāđāļ›āļĨāđāļĨāļ°āļ­āļēāļĻāļąāļĒāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ ROUGE āļ–āļđāļāļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āđ€āļžāļ·āđˆāļ­āļāļēāļĢāļŠāļĢāļļāļ›āđāļĨāļ°āļ­āļēāļĻāļąāļĒāļāļēāļĢāđ€āļĢāļĩāļĒāļāļ„āļ·āļ™

āđ€āļˆāļēāļ°āļĨāļķāļ

āļ•āļąāļ§āļŠāļĩāđ‰āļ§āļąāļ”āļ—āļąāđ‰āļ‡āļŠāļ­āļ‡āļ§āļąāļ”āļāļēāļĢāļ—āļąāļšāļ‹āđ‰āļ­āļ™āļāļąāļ™āļ‚āļ­āļ‡ n-gram āļĢāļ°āļŦāļ§āđˆāļēāļ‡āļ‚āđ‰āļ­āļ„āļ§āļēāļĄāļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāđāļĨāļ°āļ‚āđ‰āļ­āļ„āļ§āļēāļĄāļ­āđ‰āļēāļ‡āļ­āļīāļ‡āļŦāļ™āļķāđˆāļ‡āļ‚āđ‰āļ­āļ„āļ§āļēāļĄāļ‚āļķāđ‰āļ™āđ„āļ› āđāļ•āđˆāļˆāļ°āđ€āļ™āđ‰āļ™āļ—āļīāļĻāļ—āļēāļ‡āļ—āļĩāđˆāđāļ•āļāļ•āđˆāļēāļ‡āļāļąāļ™ BLEU (āļāļēāļĢāļĻāļķāļāļĐāļēāđāļšāļšāļ›āļĢāļ°āđ€āļĄāļīāļ™āļŠāļ­āļ‡āļ āļēāļĐāļē) āļˆāļ°āļ„āļģāļ™āļ§āļ“āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ n-gram āļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāđāļāđ‰āđ„āļ‚ (āđ‚āļ”āļĒāļ—āļąāđˆāļ§āđ„āļ›āļ„āļ·āļ­ 1 āļ–āļķāļ‡ 4 āļāļĢāļąāļĄ) āļ„āļđāļ“āļ„āđˆāļēāđ€āļŦāļĨāđˆāļēāļ™āļąāđ‰āļ™āđƒāļ™āđ€āļŠāļīāļ‡āđ€āļĢāļ‚āļēāļ„āļ“āļīāļ• āđāļĨāļ°āđƒāļŠāđ‰āļāļēāļĢāļ›āļĢāļąāļšāļ„āđˆāļēāļ„āļ§āļēāļĄāļŠāļąāđ‰āļ™ āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļĢāļ°āļšāļšāđ„āļĄāđˆāļŠāļēāļĄāļēāļĢāļ–āđ€āļĨāđˆāļ™āđ€āļāļĄāļ„āļ°āđāļ™āļ™āđ‚āļ”āļĒāļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāļŠāļąāđ‰āļ™āļĄāļēāļ ROUGE (āļāļēāļĢāļĻāļķāļāļĐāļēāđāļšāļšāđ€āļ™āđ‰āļ™āļāļēāļĢāđ€āļĢāļĩāļĒāļāļ„āļ·āļ™āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™ Gisting) āđƒāļŦāđ‰āļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļāļāļąāļšāļāļēāļĢāđ€āļĢāļĩāļĒāļāļ„āļ·āļ™āđāļ—āļ™: ROUGE-N āļ™āļąāļš n-gram āļ—āļĩāđˆāļ—āļąāļšāļ‹āđ‰āļ­āļ™āļāļąāļ™ ROUGE-L āđƒāļŠāđ‰āļĨāļģāļ”āļąāļšāļĒāđˆāļ­āļĒāļĢāđˆāļ§āļĄāļ—āļĩāđˆāļĒāļēāļ§āļ—āļĩāđˆāļŠāļļāļ”āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāđāļāđˆāļāļēāļĢāđāļ‚āđˆāļ‡āļ‚āļąāļ™āļ•āļēāļĄāļĨāļģāļ”āļąāļšāđ‚āļ”āļĒāđ„āļĄāđˆāļ•āđ‰āļ­āļ‡āļ­āļēāļĻāļąāļĒāļ„āļ§āļēāļĄāļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡āļāļąāļ™ BLEU āļ–āļēāļĄāļ§āđˆāļē 'āļŠāļīāđˆāļ‡āļ—āļĩāđˆāļĢāļ°āļšāļšāļžāļđāļ”āļ–āļđāļāļ•āđ‰āļ­āļ‡āļĄāļēāļāļ™āđ‰āļ­āļĒāđ€āļžāļĩāļĒāļ‡āđƒāļ”' āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆ ROUGE āļ–āļēāļĄāļ§āđˆāļē 'āļĢāļ°āļšāļšāļšāļąāļ™āļ—āļķāļāļ‚āđ‰āļ­āļĄāļđāļĨāļ­āđ‰āļēāļ‡āļ­āļīāļ‡āđ„āļ”āđ‰āļĄāļēāļāļ™āđ‰āļ­āļĒāđ€āļžāļĩāļĒāļ‡āđƒāļ”' āļ—āļąāđ‰āļ‡āļŠāļ­āļ‡āļĄāļĩāļĢāļēāļ„āļēāļ–āļđāļāđāļĨāļ°āļ—āļģāļ‹āđ‰āļģāđ„āļ”āđ‰ āđāļ•āđˆāđ€āļŦāđ‡āļ™āđ€āļžāļĩāļĒāļ‡āļ„āļģāļ—āļĩāđˆāļ—āļąāļšāļ‹āđ‰āļ­āļ™āļāļąāļ™ āļāļēāļĢāļ–āļ­āļ”āļ„āļ§āļēāļĄāđāļĨāļ°āļ„āļ§āļēāļĄāļŦāļĄāļēāļĒāļŦāļēāļĒāđ„āļ›

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļ™āļąāļāļ§āļīāļˆāļąāļĒāļāļēāļĢāđāļ›āļĨāļ”āđ‰āļ§āļĒāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļĒāļ‡āļēāļ™āļ„āļ°āđāļ™āļ™ BLEU āđƒāļ™āļāļēāļĢāļ§āļąāļ”āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļž WMT āđ€āļžāļ·āđˆāļ­āđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļ„āļļāļ“āļ āļēāļžāļ‚āļ­āļ‡āļĢāļ°āļšāļš

āđ€āļ­āļāļŠāļēāļĢāļŠāļĢāļļāļ›āļĢāļēāļĒāļ‡āļēāļ™ ROUGE-1, ROUGE-2 āđāļĨāļ° ROUGE-L āļšāļ™āļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨ CNN/DailyMail

āļ—āļĩāļĄāļ§āļīāļĻāļ§āļāļĢāļ•āļīāļ”āļ•āļēāļĄ BLEU āđƒāļ™ CI āđ€āļžāļ·āđˆāļ­āļ•āļĢāļ§āļˆāļˆāļąāļšāļāļēāļĢāļ–āļ”āļ–āļ­āļĒāđ€āļĄāļ·āđˆāļ­āļ›āļĢāļąāļšāđāļ•āđˆāļ‡āđ‚āļĄāđ€āļ”āļĨāļāļēāļĢāđāļ›āļĨāļ­āļĒāđˆāļēāļ‡āļĨāļ°āđ€āļ­āļĩāļĒāļ”

āļœāļĨāļīāļ•āļ āļąāļ“āļ‘āđŒāļŠāļĢāļļāļ›āđƒāļŠāđ‰ ROUGE-L āđ€āļ›āđ‡āļ™āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļĢāļēāļ„āļēāļ–āļđāļāļāđˆāļ­āļ™āļ—āļĩāđˆāļˆāļ°āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āđ‚āļ”āļĒāļĄāļ™āļļāļĐāļĒāđŒāļ‹āļķāđˆāļ‡āļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒāļŠāļđāļ‡āļāļ§āđˆāļē

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āđ€āļĄāļ•āļĢāļīāļāļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļœāļĨ ROUGE āđāļĨāļ° BLEU

āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļ•āļąāļ§āļŠāļĩāđ‰āļ§āļąāļ” n-gram āđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāđāļāđˆāļāļēāļĢāļˆāļąāļšāļ„āļđāđˆāļ„āļģāļ—āļĩāđˆāļ•āļĢāļ‡āļāļąāļ™āļ—āļļāļāļ›āļĢāļ°āļāļēāļĢ āļžāļ§āļāļĄāļąāļ™āļˆāļķāļ‡āļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āđˆāļēāļāļēāļĢāļ–āļ­āļ”āļ„āļ§āļēāļĄāļ—āļĩāđˆāļ–āļđāļāļ•āđ‰āļ­āļ‡āļ•āđˆāļģāđ€āļāļīāļ™āđ„āļ›āđāļĨāļ°āļāļēāļĢāđ€āļ‚āļĩāļĒāļ™āļ‹āđ‰āļģāđ„āļ”āđ‰āļ„āļĨāđˆāļ­āļ‡ āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļ›āļąāļāļŦāļēāļ—āļĩāđˆāđ€āļžāļīāđˆāļĄāļĄāļēāļāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āđ€āļ­āļēāļ•āđŒāļžāļļāļ•āļ‚āļ­āļ‡ LLM āđāļĒāļāļĻāļąāļžāļ—āđŒāļˆāļēāļāļāļēāļĢāļ­āđ‰āļēāļ‡āļ­āļīāļ‡ āļāļēāļĢāļāļąāļ‡āļ•āļąāļ§āļ§āļąāļ”āđāļšāļšāļāļąāļ‡ āđ€āļŠāđˆāļ™ BERTScore āđāļĨāļ°āļ•āļąāļ§āļ§āļąāļ”āļ—āļĩāđˆāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰ āđ€āļŠāđˆāļ™ BLEURT āđāļĨāļ° COMET āļĢāļ§āļĄāļ–āļķāļ‡āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™ LLM āđƒāļ™āļāļēāļ™āļ°āļœāļđāđ‰āļ•āļąāļ”āļŠāļīāļ™ āļˆāļ°āļŠāđˆāļ§āļĒāđ€āļŠāļĢāļīāļĄāļŦāļĢāļ·āļ­āđāļ—āļ™āļ—āļĩāđˆāļ•āļąāļ§āļŠāļĩāđ‰āļ§āļąāļ”āđ€āļŦāļĨāđˆāļēāļ™āļĩāđ‰āļĄāļēāļāļ‚āļķāđ‰āļ™ āļ–āļķāļ‡āļāļĢāļ°āļ™āļąāđ‰āļ™ ROUGE āđāļĨāļ° BLEU āļāđ‡āļĒāļąāļ‡āļ„āļ‡āļĄāļĩāļĢāļēāļĒāļ‡āļēāļ™āļžāļ·āđ‰āļ™āļāļēāļ™āļ—āļĩāđˆāļĢāļ§āļ”āđ€āļĢāđ‡āļ§āđāļĨāļ°āđ‚āļ›āļĢāđˆāļ‡āđƒāļŠāđƒāļ™āļĢāļēāļĒāļ‡āļēāļ™āđ€āļāļ·āļ­āļšāļ—āļļāļāļ‰āļšāļąāļš

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the ROUGE and BLEU Evaluation Metrics quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āđ€āļĄāļ•āļĢāļīāļāļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļœāļĨ ROUGE āđāļĨāļ° BLEU āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

ROUGE āđāļĨāļ° BLEU āđ€āļ›āđ‡āļ™āļŦāļ™āđˆāļ§āļĒāļ§āļąāļ”āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļ—āļĩāđˆāļŠāđˆāļ§āļĒāđƒāļ™āļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļ‚āđ‰āļ­āļ„āļ§āļēāļĄāļ—āļĩāđˆāļŠāļĢāđ‰āļēāļ‡āđ‚āļ”āļĒāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļāļąāļšāļāļēāļĢāļ­āđ‰āļēāļ‡āļ­āļīāļ‡āđ‚āļ”āļĒāļĄāļ™āļļāļĐāļĒāđŒ BLEU āļ–āļđāļāļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āđ€āļžāļ·āđˆāļ­āļāļēāļĢāđāļ›āļĨāđāļĨāļ°āļ­āļēāļĻāļąāļĒāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ ROUGE āļ–āļđāļāļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āđ€āļžāļ·āđˆāļ­āļāļēāļĢāļŠāļĢāļļāļ›āđāļĨāļ°āļ­āļēāļĻāļąāļĒāļāļēāļĢāđ€āļĢāļĩāļĒāļāļ„āļ·āļ™

āđ€āļĄāļ•āļĢāļīāļāđƒāļ”āļ—āļĩāđˆāđ€āļ”āļīāļĄāļ­āļ­āļāđāļšāļšāļĄāļēāđ€āļžāļ·āđˆāļ­āļāļēāļĢāđāļ›āļĨāļ”āđ‰āļ§āļĒāļ„āļ­āļĄāļžāļīāļ§āđ€āļ•āļ­āļĢāđŒāđāļĨāļ°āđ€āļ™āđ‰āļ™āļĒāđ‰āļģāļ–āļķāļ‡āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ

BLEU āļ–āļđāļāļŠāļĢāđ‰āļēāļ‡āļ‚āļķāđ‰āļ™āđ€āļžāļ·āđˆāļ­āļāļēāļĢāđāļ›āļĨāđāļĨāļ°āļ­āļīāļ‡āļ•āļēāļĄāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ n-gram āļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāđāļāđ‰āđ„āļ‚āļžāļĢāđ‰āļ­āļĄāļāļēāļĢāļ›āļĢāļąāļšāļ„āļ§āļēāļĄāļŠāļąāđ‰āļ™

ROUGE āļĄāļļāđˆāļ‡āđ€āļ™āđ‰āļ™āđ„āļ›āļ—āļĩāđˆāļ­āļ°āđ„āļĢāđ€āļ›āđ‡āļ™āļŦāļĨāļąāļ?

ROUGE āļĒāđˆāļ­āļĄāļēāļˆāļēāļ Recall-Oriented Understudy for Gisting Evaling āđāļĨāļ°āđ€āļ™āđ‰āļ™āļĒāđ‰āļģāļ§āđˆāļēāļ‚āđ‰āļ­āļĄāļđāļĨāļ­āđ‰āļēāļ‡āļ­āļīāļ‡āļ–āļđāļāļˆāļąāļšāđ„āļ”āđ‰āļĄāļēāļāļ™āđ‰āļ­āļĒāđ€āļžāļĩāļĒāļ‡āđƒāļ”

āđ‚āļ—āļĐāļ„āļ§āļēāļĄāļŠāļąāđ‰āļ™āļŠāļąāđ‰āļ™āļ‚āļ­āļ‡ BLEU āļ›āđ‰āļ­āļ‡āļāļąāļ™āļ­āļ°āđ„āļĢ

āļāļēāļĢāļ›āļĢāļąāļšāļ„āļ§āļēāļĄāļŠāļąāđ‰āļ™āļˆāļ°āļĨāļ” BLEU āđ€āļĄāļ·āđˆāļ­āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļŠāļąāđ‰āļ™āļāļ§āđˆāļēāļ‚āđ‰āļ­āļĄāļđāļĨāļ­āđ‰āļēāļ‡āļ­āļīāļ‡ āļŠāđˆāļ‡āļœāļĨāđƒāļŦāđ‰āļĢāļ°āļšāļšāđ„āļĄāđˆāļŠāļēāļĄāļēāļĢāļ–āļ‚āļĒāļēāļĒāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļ”āđ‰āļ§āļĒāđ€āļ­āļēāļ•āđŒāļžāļļāļ•āļ—āļĩāđˆāļŠāļąāđ‰āļ™āļĨāļ‡

ROUGE-L āļ§āļąāļ”āļ„āđˆāļēāļ­āļ°āđ„āļĢ?

ROUGE-L āđƒāļŠāđ‰āļĨāļģāļ”āļąāļšāļĒāđˆāļ­āļĒāļĢāđˆāļ§āļĄāļ—āļĩāđˆāļĒāļēāļ§āļ—āļĩāđˆāļŠāļļāļ” āđ‚āļ”āļĒāđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāļāļēāļĢāđāļ‚āđˆāļ‡āļ‚āļąāļ™āļ•āļēāļĄāļĨāļģāļ”āļąāļšāđ‚āļ”āļĒāļ›āļĨāđˆāļ­āļĒāđƒāļŦāđ‰āļĄāļĩāļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡

āļ­āļ°āđ„āļĢāļ„āļ·āļ­āļ‚āđ‰āļ­āļˆāļģāļāļąāļ”āļĢāđˆāļ§āļĄāļāļąāļ™āļ—āļĩāđˆāļŠāļģāļ„āļąāļāļ‚āļ­āļ‡āļ—āļąāđ‰āļ‡ BLEU āđāļĨāļ° ROUGE?

āļ—āļąāđ‰āļ‡āļŠāļ­āļ‡āđāļšāļšāļ­āļēāļĻāļąāļĒāļāļēāļĢāļˆāļąāļšāļ„āļđāđˆāļ„āļģ/n-gram āļ—āļĩāđˆāļ•āļĢāļ‡āļāļąāļ™āļ—āļļāļāļ›āļĢāļ°āļāļēāļĢ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļˆāļķāļ‡āļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āđˆāļēāļāļēāļĢāļ–āļ­āļ”āļ„āļ§āļēāļĄāļ—āļĩāđˆāļ–āļđāļāļ•āđ‰āļ­āļ‡āļ—āļĩāđˆāđāļ•āļāļ•āđˆāļēāļ‡āļˆāļēāļāļ‚āđ‰āļ­āļĄāļđāļĨāļ­āđ‰āļēāļ‡āļ­āļīāļ‡āļ•āđˆāļģāđ€āļāļīāļ™āđ„āļ›

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļ•āļąāļ§āļŠāļĩāđ‰āļ§āļąāļ”āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™ RAG āđāļĨāļ° RAGAS

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →